hive整合hbase 建表命令

朴灿烈づ我的快乐病毒、 2022-08-27 05:49 236阅读 0赞

## 1. 启动hive，并连接到hbase ##

./hive --auxpath /opt/apache/hive-0.12.0-bin/lib/hive\_hbase-handler-0.12.0.jar,/opt/apache/hive-0.12.0-bin/lib/hbase-0.94.8.jar -hiveconf hbase.master=master1:60000

注意，hive\_hbase-handler-0.12.0.jar这个jar包要根据连接hbase的版本进行重新编译，具体方法请参考相关文章

## 2. 创建内表 ##

CREATE TABLE hive\_123(word string, count bigint)

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val")

TBLPROPERTIES ("hbase.table.name" = "hive\_123");

执行这条命令后，hive将会在hbase上创建表"hive\_123"，hive列与hbase列的映射关系为：

word字段为hbase表的rowkey，count字段则为cf1:val即column family为cf1，qualifier为val

## 3. 创建外表 ##

CREATE EXTERNAL TABLE hive\_vv(key string, sip string, count int)    
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'    
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf0:sip,cf1:count")    
TBLPROPERTIES ("hbase.table.name" = "hive\_vv");

创建一个hive外表，将名为hive\_w的hbase表识别到hive中。

## 4. 使用二进制存储数据 ##

默认情况下，hbase都是以字符串存储数据，hive也支持使用二进制方式在hbase中保存数据

CREATE EXTERNAL TABLE hive\_filter(key string, sport int, cout int, ctx string )    
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'    
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf2:sport\#b,cf3:count\#b, cf4:ctx")    
TBLPROPERTIES ("hbase.table.name" = "hive\_filter");

其中cf2:sport\#b,cf3:count\#b表示sport、count两个字段以二进制的方式保存在hbase表中

### 5. 将hive表中的内容导入hbase表 ###

INSERT OVERWRITE TABLE hive\_vv SELECT key,sip,count FROM hive\_textfile;

### 6. 将hbase表中的内容导入hive表 ###

INSERT OVERWRITE TABLE hive\_textfile SELECT \* FROM hive\_vv;

### 7. scan优化 ###

在hive的命令行中，设置set hbase.scan.cache=10000;set hbase.scan.cacheblock=false;