Hbase MapReduce 执行示例代码报错

短命女 2023-07-17 15:38 24阅读 0赞

## 问题 ##

公司同事在学习Hbase 视频中有一段是Hbase 使用MapReduce 的官方实例使用 RowCounter 计算表的行数。

执行命令：

/usr/bdapp/hadoop-2.7.7/bin/yarn jar /usr/bdapp/hbase-2.1.7/lib/hbase-server-2.1.7.jar RowCounter test:user

抛出错误如下：

Exception in thread "main" java.lang.ClassNotFoundException: RowCounter
            at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
            at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
            at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
            at java.lang.Class.forName0(Native Method)
            at java.lang.Class.forName(Class.java:348)
            at org.apache.hadoop.util.RunJar.run(RunJar.java:219)
            at org.apache.hadoop.util.RunJar.main(RunJar.java:141)

这是一个很明显的错误：类找不到  
分析一下原因：  
1、jar包冲突：  
排查方式：打印执行的环境。发现对应的jar包存在且无冲突。  
2、版本问题，其中取消了该类。下载源码包，关键字查询确实不存在该类。

--------------------

找到当前环境对应的官方文档：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1Byb2dyYW1Nb25pa2E_size_16_color_FFFFFF_t_70]  
执行该命令报错：

Unknown program 'org.apache.hadoop.hbase.mapreduce.RowCounter' chosen.
    Valid program names are:
      CellCounter: Count cells in HBase table.
      WALPlayer: Replay WAL files.
      completebulkload: Complete a bulk data load.
      copytable: Export a table from local cluster to peer cluster.
      export: Write table data to HDFS.
      exportsnapshot: Export the specific snapshot to a given FileSystem.
      import: Import data written by Export.
      importtsv: Import data in TSV format.
      rowcounter: Count rows in HBase table.
      verifyrep: Compare data from tables in two different clusters. It doesn't work for incrementColumnValues'd cells since timestamp is changed after appending to WAL.

上边这段话意思是：  
org.apache.hadoop.hbase.mapreduce.RowCounter  
没有这个programe  
有效的是下边这些：  
export  
rowcounter  
这些命令

--------------------

最终结果：

/usr/bdapp/hadoop-2.7.7/bin/hadoop jar /usr/bdapp/hbase-2.1.7/lib/hbase-mapreduce-2.1.7.jar rowcounter test:user

而后忽然发现文档有提醒：

$ HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase classpath` \
      ${HADOOP_HOME}/bin/hadoop jar ${HBASE_HOME}/lib/hbase-mapreduce-2.0.0-SNAPSHOT.jar \
      rowcounter usertable

--------------------

所以建议大家学习时和你的教学视频使用一致的环境。  
或者首先思考问题成因，一步一步解决问题。  
实在不行就及时想朋友或其他人求助。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1Byb2dyYW1Nb25pa2E_size_16_color_FFFFFF_t_70]: /images/20230528/4071b0c00ab848ada276dc30251f663a.png