Hive和Hbase的对接

Love The Way You Lie 2023-01-13 14:53 146阅读 0赞

### 文章目录 ###

*  一、配置hive
 *  二、hive中数据与hbase相关联
 *  三、hbase中数据与hive相关联

# 一、配置hive #

1、创建hive所需要的hbase相关联包的软链接

ln -s $HBASE_HOME/lib/hbase-common-1.4.10.jar  $HIVE_HOME/lib/hbase-common-1.4.10.jar
    ln -s $HBASE_HOME/lib/hbase-server-1.4.10.jar $HIVE_HOME/lib/hbase-server-1.4.10.jar
    ln -s $HBASE_HOME/lib/hbase-client-1.4.10.jar $HIVE_HOME/lib/hbase-client-1.4.10.jar
    ln -s $HBASE_HOME/lib/hbase-protocol-1.4.10.jar $HIVE_HOME/lib/hbase-protocol-1.4.10.jar
    ln -s $HBASE_HOME/lib/hbase-it-1.4.10.jar $HIVE_HOME/lib/hbase-it-1.4.1.jar
    ln -s $HBASE_HOME/lib/hbase-hadoop2-compat-1.4.10.jar $HIVE_HOME/lib/hbase-hadoop2-compat-1.4.10.jar
    ln -s $HBASE_HOME/lib/hbase-hadoop-compat-1.4.10.jar $HIVE_HOME/lib/hbase-hadoop-compat-1.4.10.jar
    ln -s $HBASE_HOME/lib/htrace-core-3.1.0-incubating.jar $HIVE_HOME/lib/htrace-core-3.1.0-incubating.jar

2、在hive-site.xml中修改zookeeper的属性，如下：

<property>
      <name>hive.zookeeper.quorum</name>
      <value>node01,node02,node03</value>
      <description>The list of ZooKeeper servers to talk to. This is only needed for read/write locks.</description>
    </property>
    <property>
      <name>hive.zookeeper.client.port</name>
      <value>2181</value>
      <description>The port of ZooKeeper servers to talk to. This is only needed for read/write locks.</description>
    </property>

# 二、hive中数据与hbase相关联 #

1、在 Hive 中创建表同时关联 HBase （hive表hive\_hbase\_emp\_table关联hbase表hbase\_emp\_table）

CREATE TABLE hive_hbase_emp_table(
    empno int,
    ename string,
    job string,
    mgr int,
    hiredate string,
    sal double,
    comm double,
    deptno int)
    STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno")
    TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");

注意：如果这步提示出错：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V，只需要将hive/lib/hive-hbase-handler-1.2.1.jar下载到本地，在hbase版本的jar包下编译即可（推荐用Eclipse的export很方便就能编译成功），上传编译后的jar包到hive/lib目录下即可解决

2、查看hive和hbase中表是否创建成功  
![在这里插入图片描述][20200910202534616.png_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqdDE5OTg2Ng_size_16_color_FFFFFF_t_70_pic_center]  
3、在Hive中创建临时中间表，用于load文件中的数据  
create table emp(  
empno int,  
ename string,  
job string,  
mgr int,  
hiredate string,  
sal double,  
comm double,  
deptno int)  
row format delimited fields terminated by ‘\\t’;  
4、向Hive中间表中load数据

load data local inpath '/home/bigdata/data/emp.txt' into table emp;
    
    测试数据：
    7369    SMITH   CLERK   7902    1980-12-17      800.00          20
    7499    ALLEN   SALESMAN        7698    1981-2-20       1600.00 300.00  30
    7521    WARD    SALESMAN        7698    1981-2-22       1250.00 500.00  30
    7566    JONES   MANAGER 7839    1981-4-2        2975.00         20
    7654    MARTIN  SALESMAN        7698    1981-9-28       1250.00 1400.00 30
    7698    BLAKE   MANAGER 7839    1981-5-1        2850.00         30
    7782    CLARK   MANAGER 7839    1981-6-9        2450.00         10
    7788    SCOTT   ANALYST 7566    1987-4-19       3000.00         20
    7839    KING    PRESIDENT               1981-11-17      5000.00         10
    7844    TURNER  SALESMAN        7698    1981-9-8        1500.00 0.00    30
    7876    ADAMS   CLERK   7788    1987-5-23       1100.00         20
    7900    JAMES   CLERK   7698    1981-12-3       950.00          30
    7902    FORD    ANALYST 7566    1981-12-3       3000.00         20
    7934    MILLER  CLERK   7782    1982-1-23       1300.00         10

5、通过insert命令将中间表中的数据导入到Hive关联Hbase的那张表中  
insert into table hive\_hbase\_emp\_table select \* from emp;  
6、查看Hive以及关联的HBase表中是否已经成功的同步插入了数据  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqdDE5OTg2Ng_size_16_color_FFFFFF_t_70_pic_center 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqdDE5OTg2Ng_size_16_color_FFFFFF_t_70_pic_center 2]

> **附加**  
> 为什么要创建中间表使用insert语句往hive表插入数据，不能直接使用load命令往hive表中导入数据吗？  
> 答案是不能的。因为hive表与hbase表相关联的话，实际数据是存储在hbase中的。而hbase中的数据是以HFile的形式存储在hdfs上的，如果直接使用load命令，是以txt格式导入到hive表的，insert命令是走mapreduce任务的

# 三、hbase中数据与hive相关联 #

> 如果一张表在hbase中存放了很久，数据量并没有达到hbase数据量的要求，那么就可以在hive中中创建一个外部表来关联hbase中的表，使之可以借助hive来分析hbase这张表中的数据。

1、在Hive中创建外部表（hbase表hbase\_emp\_table关联hive表relevance\_hbase\_emp）

create external table relevance_hbase_emp(
    empno int,
    ename string,
    job string,
    mgr int,
    hiredate string,
    sal double,
    comm double,
    deptno int)
    STORED BY 
    'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    WITH SERDEPROPERTIES ("hbase.columns.mapping" = 
    ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno") 
    TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table");

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14

2、在hbase表hbase\_emp\_table中插入一条数据，观察hive表relevance\_hbase\_emp中是否有新数据  
![在这里插入图片描述][20200910210243854.png_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqdDE5OTg2Ng_size_16_color_FFFFFF_t_70_pic_center 3]  
3、关联成功后就可以使用Hive函数进行一些分析操作了

[20200910202534616.png_pic_center]: /images/20221022/a1418a216add49479b9a4c067a145764.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqdDE5OTg2Ng_size_16_color_FFFFFF_t_70_pic_center]: /images/20221022/8573624818d0422985fe7a107cb41cfb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqdDE5OTg2Ng_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221022/9159c3e492624e339519f81b0ecc7ce0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqdDE5OTg2Ng_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221022/84cefb63aa2e4fe79f3aa28b65041c20.png
[20200910210243854.png_pic_center]: /images/20221022/44271ba049a34fcc91cb39cba8f1785a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dqdDE5OTg2Ng_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221022/c012504fed9d4d749aa56e950ae929e8.png