hive与hbase整合

红太狼 2022-06-07 23:09 240阅读 0赞

开场白：  
Hive与HBase的整合功能的实现是利用两者本身对外的API接口互相进行通信，相互通信主要是依靠hive\_hbase-handler.jar工具类 ([Hive Storage Handlers][])， 大致意思如图所示：  
![hive-hbase][]

口水：  
 对 hive\_hbase-handler.jar 这个东东还有点兴趣，有空来磋磨一下。

一、2个注意事项：  
1、需要的软件有 Hadoop、Hive、Hbase、Zookeeper，Hive与HBase的整合对Hive的版本有要求，所以不要下载.0.6.0以前的老版本，Hive.0.6.0的版本才支持与HBase对接，因此在Hive的lib目录下可以看见多了hive\_hbase-handler.jar这个jar包，他是Hive扩展存储的Handler ，HBase 建议使用 0.20.6的版本，这次我没有启动HDFS的集群环境，本次所有测试环境都在一台机器上。  
       
2、运行Hive时，也许会出现如下错误，表示你的JVM分配的空间不够，错误信息如下：  
Invalid maximum heap size: -Xmx4096m  
The specified size exceeds the maximum representable size.  
Could not create the Java virtual machine.

解决方法：  
/work/hive/bin/ext\# vim util/execHiveCmd.sh 文件中第33行  
修改，  
HADOOP\_HEAPSIZE=4096  
为  
HADOOP\_HEAPSIZE=256

另外，在 /etc/profile/ 加入 export $HIVE\_HOME=/work/hive

二、启动运行环境  
1启动Hive  
hive –auxpath /work/hive/lib/hive\_hbase-handler.jar,/work/hive/lib/hbase-0.20.3.jar,/work/hive/lib/zookeeper-3.2.2.jar -hiveconf hbase.master=127.0.0.1:60000  
加载 Hive需要的工具类，并且指向HBase的master服务器地址，我的HBase master服务器和Hive运行在同一台机器，所以我指向本地。

2启动HBase  
/work/hbase/bin/hbase master start

3启动Zookeeper  
/work/zookeeper/bin/zkServer.sh start

三、执行  
在Hive中创建一张表，相互关联的表  
CREATE TABLE hbase\_table\_1(key int, value string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") TBLPROPERTIES ("hbase.table.name" = "xyz");

在运行一个在Hive中建表语句，并且将数据导入  
建表  
    CREATE TABLE pokes (foo INT, bar STRING);  
数据导入  
    LOAD DATA LOCAL INPATH '/work/hive/examples/files/kv1.txt' OVERWRITE INTO TABLE pokes;

在Hive与HBase关联的表中 插入一条数据  
    INSERT OVERWRITE TABLE hbase\_table\_1 SELECT \* FROM pokes WHERE foo=98;  
运行成功后，如图所示：  
[![hive][]][hive 1]

插入数据时采用了MapReduce的策略算法，并且同时向HBase写入，如图所示：  
![Map-Reduce Job for INSERT][]

在HBase shell中运行 scan 'xyz' 和describe "xyz" 命令，查看表结构，运行结果如图所示：  
[![hive][hive 2]][hive_hive 2]

xyz是通过Hive在Hbase中创建的表，刚刚在Hive的建表语句中指定了映射的属性 "hbase.columns.mapping" = ":key,cf1:val"  和 在HBase中建表的名称 "hbase.table.name" = "xyz"

在hbase在运行put命令，插入一条记录  
    put 'xyz','10001','cf1:val','www.javabloger.com'

在hive上运行查询语句，看看刚刚在hbase中插入的数据有没有同步过来，  
    select \* from hbase\_table\_1 WHERE key=10001;  
如图所示：  
[![hive][hive 3]][hive_hive 3]

最终的效果  
    以上整合过程和操作步骤已经执行完毕，现在Hive中添加记录HBase中有记录添加，同样你在HBase中添加记录Hive中也会添加， 表示Hive与HBase整合成功，对海量级别的数据我们是不是可以在HBase写入，在Hive中查询 喃？因为HBase 不支持复杂的查询，但是HBase可以作为基于 key 获取一行或多行数据，或者扫描数据区间，以及过滤操作。而复杂的查询可以让Hive来完成，一个作为存储的入口(HBase)，一个作为查询的入口(Hive)。如下图示。  
    ![hive mapreduce][]  
      
    呵呵，见笑了，以上只是我面片的观点。

先这样，稍后我将继续更新，感谢你的阅读。

相关文章：  
 [Apache Hive入门2 ][Apache Hive_2]  
 [Apache Hive入门1][Apache Hive_1]

[HBase入门篇4 ][HBase_4]  
 [HBase入门篇3 ][HBase_3]  
 [HBase入门篇2 ][HBase_2]  
 [HBase入门篇][HBase]

–end–

[Hive Storage Handlers]: http://wiki.apache.org/hadoop/Hive/StorageHandlers
[hive-hbase]: http://niaklq.bay.livefilestore.com/y1p0k32w2fi4k43d0uKbLdkCsYMad9JJA444Ss9lLAu3ABPv21dAEhooK_3IY_-XLpusyVIH7JyOPY76-ORy8IX2fhMZ2YYi8qA/hive-hbase-arch.jpg?psid=1
[hive]: http://public.bay.livefilestore.com/y1pHJQIdJi1VIB52Kd18sasaov_unmVqblN70oRSc7krIEaPHE_jIl-26X1nAlGmJOH3CLZs539iAcFsFYp_PblnA/hive-hbase.jpg?psid=1
[hive 1]: http://public.bay.livefilestore.com/y1pHJQIdJi1VIB52Kd18sasasgrlxEqlEsLafp8dJKfg8akMb7yG93qW-UFwdaH5IyLMYjWJ1lR9MWi9n8hgSlv9w/hive-hbase.jpg?psid=1
[Map-Reduce Job for INSERT]: http://niaklq.bay.livefilestore.com/y1pCkjCBrClVasd1Fd51Z-aU0Sj4QeS5ApvZQZR7M3DtldD_72l1IX9Sp09K8afzT_CJqNaXnxJ3ZeWMqS1QapVprHuifTq6n3j/Map-Reduce-INSERT.jpg?psid=1
[hive 2]: http://public.bay.livefilestore.com/y1p8KUXo_4g2PiFzfULzn3yfC5VD9n8g_QoP_Hn8pXr6obRzA6vEPa1Vk66bwx4WXk8W9Vsd7WMXsf7V8wlqtiHlQ/hive-hbase-1.jpg?psid=1
[hive_hive 2]: http://public.bay.livefilestore.com/y1phY8sRzb_Sijtj5V2onTbwmx-J1zy8irYqUec7tmoZmt7LXmo3FMWphWXAyEKVvAZPVSDO8yBnwK671HkJ3sSxA/hive-hbase-1.jpg?psid=1
[hive 3]: http://public.bay.livefilestore.com/y1pJjI-f9ZM1rcz57xHfBU8it2nY-sgJeQPQ5TepAA7Q8do2AUYMECZ28aN0MflhjrK-hkXS2Hw_1FAi6xIk5x7Aw/hive-hbase-3.jpg?psid=1
[hive_hive 3]: http://public.bay.livefilestore.com/y1pJjI-f9ZM1rcz57xHfBU8ij5Z5RL5KeXTmsAKjuPf4AJPnkkMh8uH1Yv_VfaWr2lyKArQ1mpruzn1p8JOHVrAtA/hive-hbase-3.jpg?psid=1
[hive mapreduce]: http://niaklq.bay.livefilestore.com/y1pIvjweuRWQDmuR4EMM2tY25wcDc5NGTcsKpo_9PGZGtSUqquFW2NKqevGhgmVBDIp4Fh_HKg-gyf3EdsKBkVZr3N3TXXa7axS/hive-hbase-4-last.jpg?psid=1
[Apache Hive_2]: http://www.javabloger.com/article/apache-hive-2.html
[Apache Hive_1]: http://www.javabloger.com/article/apache-hive-jdbc-mapreduce.html
[HBase_4]: http://www.javabloger.com/article/apache-hbase-hadoop.html
[HBase_3]: http://www.javabloger.com/article/hbase-performance-hbase-optimized.html
[HBase_2]: http://www.javabloger.com/article/apache-hbase-shell-and-java-api-html.html
[HBase]: http://www.javabloger.com/article/apache-hbase-shell-and-install-key-value.html