HBase Bulk Loading时遇到的两个问题

偏执的太偏执、 2022-08-23 13:53 164阅读 0赞

我采用了先ImportTsv后completebulkload的方式，并且completebulkload时采用了LoadIncrementalHFiles。

1. ImportTsv命令中，需将所有的-D参数顺序排列。

如果在<tablename>和<inputdir>之间加入-Dimporttsv.bulk.output参数，例如：sudo -u hbase hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=HBASE\_ROW\_KEY,f1:q1 tab1 -Dimporttsv.bulk.output=/tmp/output   /tmp/testdata

会报告如下错误：

WARN security.UserGroupInformation: PriviledgedActionException as:hbase (auth:SIMPLE) cause:org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://****:8020/user/hbase/-D
    Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://****:8020/user/hbase/-D

如果将-Dimporttsv.bulk.output放在最后，例如：sudo -u hbase hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=HBASE\_ROW\_KEY,f1:q1 tab1   /tmp/testdata -Dimporttsv.bulk.output=/tmp/output  
虽然不会报错，但是实际不能生成HFile。

正确用法应该如：sudo -u hbase hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=HBASE\_ROW\_KEY,f1:q1 -Dimporttsv.bulk.output=/tmp/output tab1 /tmp/testdata

2.执行时，卡死在提示“INFO mapreduce.LoadIncrementalHFiles: Trying to load hfile=hdfs”处

例如执行：hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /tmp/output tab1，出现上述卡死现象。查看Region Server日志时，发现提示权限拒绝之类的异常。所以修改命令为：sudo -u hbase hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles /tmp/output tab1 即可解决此问题。

发表评论取消回复

表情：

评论列表（有 0 条评论，164人围观）

还没有评论，来说两句吧...

相关阅读

相关安装docker时，遇到Loaded plugins...怎么办

前言 Hey,大家好,我们在安装Docker时,通常下面三条命令就能安装成功。 \ 下载Docker依赖 yum -y install yun-utils d

落日映苍穹つ/ 2024年03月31日 11:29/ 0 赞/ 84 阅读

相关安装oracle 11g遇到的两个问题

在点击了安装的执行按钮后，出现了下图所示警告： ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9

比眉伴天荒/ 2023年06月16日 10:40/ 0 赞/ 11 阅读

相关一文流：hive使用 bulk load 批量导入数据到 hbase

本文主要参考了hbase和hive官方文档的说明，并结合cdh和hdp的一些教程以及个人在生产中的实践进行记录。主要内容有hbase bulkload的原理以及对应hive的操

浅浅的花香味﹌/ 2022年12月22日 11:16/ 0 赞/ 570 阅读

相关使用 psycopg2 时遇到的两个坑

我在使用 psycopg2-binary 遇到两个坑，写出来，看看你是否踩过，如果没有，可以看一下，以后避免跳坑。坑1. 尽可能不要使用 psycopg2-binary

绝地灬酷狼/ 2022年08月28日 05:57/ 0 赞/ 180 阅读

相关 postgres中遇到的两个问题解决

一、psql:FATAL: the databaseis shutting down 解决方法方法一：1，sh postgres.sh stop; 2， sh

超、凢脫俗/ 2022年08月24日 08:54/ 0 赞/ 188 阅读

相关 HBase Bulk Loading时遇到的两个问题

我采用了先ImportTsv后completebulkload的方式，并且completebulkload时采用了LoadIncrementalHFiles。 1. Impo

偏执的太偏执、/ 2022年08月23日 13:53/ 0 赞/ 165 阅读

相关 HBase Bulk Loading 实践

1. 什么是Bulk Loading ? Bulk Loading采用MapReduce作业将数据直接生成HBase底层能够识别的StoreFile文件格式，然后直接将这

ゝ一纸荒年。/ 2022年08月18日 14:20/ 0 赞/ 172 阅读

相关 Spark 写入hbase 遇到的问题

1： Spark 写入hbase 遇到的问题写入时间较长 ![Center][] 解决方案： [Center]: /images/2022

约定不等于承诺〃/ 2022年06月15日 07:13/ 0 赞/ 268 阅读

相关 HBase 初学HBase的几个问题

什么是HBase 何时用HBase 和HivePig的区别 HBase的结构 1表

一时失言乱红尘/ 2022年06月04日 10:28/ 0 赞/ 168 阅读

相关 hbase_使用中遇到的问题（ConnectionLossException）

1. ConnectionLossException 此异常为zookeeper的可恢复异常可恢复的异常是指那些应用程序能够在同一个ZooKeeper会话中恢复的异常。一

电玩女神/ 2022年05月25日 08:07/ 0 赞/ 246 阅读