Hive与 Hbase 的映射，连接

小咪咪 2023-01-16 02:43 93阅读 0赞

### Hive与 Hbase 的整合 ###

*   *  一、介绍
     *   *  1.1 原因
     *  二、文件配置
     *   *  2.1 导入依赖 (master)
         *  2.2 修改 hive-site.xml (master)
         *  2.3 启动相关服务
     *  三、Hbase 与 Hive连接
     *   *  3.1 创建Hive表
         *  3.2 创建中间表
         *  3.3 插入数据
         *  3.4 测试是否数据一致

--------------------

Mysql+Hive：[1、Centos7 MySQL安装 —— 用网盘简单安装][1_Centos7 MySQL_ _]

[2、Hadoop集群搭建及配置⑨——Hive 可靠的安装配置][2_Hadoop_Hive]

[3、Spark SQ操作 MySQL数据库和 Hive数据仓库][3_Spark SQ_ MySQL_ Hive]

[4、Spark SQL RDD基本操作、RDD—DataFrame、API MySQL][4_Spark SQL RDD_RDD_DataFrame_API MySQL]

[5、Spark SQL RDD、DataFrame、Dataset、反射推断机制 Schema 操作！！][4_Spark SQL RDD_RDD_DataFrame_API MySQL]

--------------------

[8、Hadoop集群搭建及配置⑥ —— Hadoop组件安装及配置][8_Hadoop_ _ Hadoop]

[9、Hadoop集群搭建及配置⑦—— Spark&Scala安装配置][9_Hadoop_ Spark_Scala]

[10、Hadoop集群搭建及配置⑧——Hbase的安装配置][10_Hadoop_Hbase]

[11、eclipse配置连接Hadoop][11_eclipse_Hadoop]

[12、eclipse 实现 Hdfs java API][12_eclipse _ Hdfs java API]

[13、eclipse 实现 HBase java API][13_eclipse _ HBase java API]

[14、Hbase java API 实现增删改查][14_Hbase java API]

--------------------

## 一、介绍 ##

在安装好 zookeeper、hadoop、hbase、hive 基础上，才能继续下面操作，没有安装完成的可以点击上方链接，进行安装。

### 1.1 原因 ###

在实际业务中，由于 HBase不支持使用 SQL语法，因此我们操作和计算 HBase分布式数据库中的数据是非常不方便的，并且效率也低。

由于Hive支持标准的SQL语句，因此，我们可以将HBase和Hive进行整合，通过使用Hive数据仓库操作HBase分布式数据库中的数据，以此来满足实际业务的需求。

--------------------

## 二、文件配置 ##

### 2.1 导入依赖 (master) ###

将目录 /hbase-1.2.4/lib下的相关依赖复制一份到目录/hive-2.1.1/lib下。

cp /usr/hbase/hbase-1.2.4/lib/hbase-common-1.2.4.jar /usr/hive/hive-2.1.1/lib/
    
    cp /usr/hbase/hbase-1.2.4/lib/hbase-server-1.2.4.jar /usr/hive/hive-2.1.1/lib/
    
    cp /usr/hbase/hbase-1.2.4/lib/hbase-client-1.2.4.jar /usr/hive/hive-2.1.1/lib/
    
    cp /usr/hbase/hbase-1.2.4/lib/hbase-protocol-1.2.4.jar /usr/hive/hive-2.1.1/lib/
    
    cp /usr/hbase/hbase-1.2.4/lib/hbase-it-1.2.4.jar /usr/hive/hive-2.1.1/lib/
    
    cp /usr/hbase/hbase-1.2.4/lib/htrace-core-3.1.0-incubating.jar /usr/hive/hive-2.1.1/lib/
    
    cp /usr/hbase/hbase-1.2.4/lib/hbase-hadoop2-compat-1.2.4.jar  /usr/hive/hive-2.1.1/lib/
    
    cp /usr/hbase/hbase-1.2.4/lib/hbase-hadoop-compat-1.2.4.jar /usr/hive/hive-2.1.1/lib/

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70]

*  hbase-common-1.2.4.jar 是 Hbase的基本包；
 *  hbase-server-1.2.4.jar 主要用于hbase 的服务端；
 *  hbase-client-1.2.4.jar 主要用于hbase 的客户端；
 *  hbase-protocol-1.2.4.jar 主要用于hbase 的通信；
 *  hbase-it-1.2.4.jar 主要用于hbase 整合其他框架做测试；
 *  htrace-core-3.1.0-incubating.jar 主要用于其他框架(Hive,Spark) 连接Hbase；
 *  hbase-hadoop2-compat-1.2.4.jar，hbase-hadoop-compat-1.2.4.jar 使得HBase可以兼容hadoop2.0 和其他版本。

### 2.2 修改 hive-site.xml (master) ###

<property>
            <name>hive.zookeeper.quorum</name>
            <value>master,slave1,slave2</value>
            <description>zookeeper集群的URL配置，多个host中用逗号（,）分割</description>
    </property>
    
    
    <property>
     <name>hive.zookeeper.property.client.port</name>
      <value>2181</value>
    </property>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 1]

### 2.3 启动相关服务 ###

cd /usr/zookeeper/zookeeper-3.4.10（此目录下）
    # 1、三个节点都启动 zookeeper
    bin/zkServer.sh start
    bin/zkServer.sh status （注意已经生效环境变量，环境变量开机重启后要手动再生效！！）
    bin/zkServer.sh stop（关闭）
    
    # 2、master 节点启动 hadoop
    /usr/hadoop/hadoop-2.7.3/sbin/start-all.sh
    
    # 3、slave1启动 Hive服务端（先）
    /usr/hive/hive-2.1.1/bin/hive --service metastore
    
    # 4、master 作为客户端开启 hive（后）
    /usr/hive/hive-2.1.1/bin/hive
    
    # 5、启动 hbase
    /usr/hbase/hbase-1.2.4/bin/start-hbase.sh

![在这里插入图片描述][20210423142550418.png]

--------------------

## 三、Hbase 与 Hive连接 ##

### 3.1 创建Hive表 ###

创建 hive\_hbase\_test 库

create table hive_hbase_test(
    id int,name string,sex string,interest string,age int,grade double)
    stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
    with serdeproperties ("hbase.columns.mapping" = ":key,info:name,info:sex,info:interest,info:age,info:grade")
    tblproperties ("hbase.table.name"="hbase_test");

`org.apache.hadoop.hive.hbase.HBaseStorageHandler` 语句是把 hbase 与 hive 关联起来，hive创建的表会映射到 hbase数据库，且映射表名字是：`hbase_test` 。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 2]

### 3.2 创建中间表 ###

由于不能将数据直接插入与 hbase 关联的Hive表 `hive_hbase_test` ,所以需要一个中间表 text。

![20210423144532130.png][]

### 3.3 插入数据 ###

在linux 本地上创建 text.txt ，每个字段需要用 ‘\\t’ 隔开。

1	liyi	female	reading	23	94.50
    2	chener	man	baseketball	21	91.00
    3	zhangning	female	writeing	20	79.00
    4	lixi	female	pingpang	18	88.50
    5	wangwu	man	baseball	16	78.00
    6	huangting	female	reading	22	96.00
    7	tianqi	man	baseketball	25	87.00

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 3]  
把数据插入 hive\_hbase\_test

# 向临时表text插入数据
    load data local inpath '/usr/text.txt' into table text;
    
    # 将临时表数据导入 hive_hbase_test
    insert into table hive_hbase_test select * from text;

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 4]

### 3.4 测试是否数据一致 ###

# 1.hive 输入命令：
    select * from hive_hbase_test;
    
    # 2.hbase 输入命令：
    scan 'hbase_test'

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 6]  
可以看出两者的数据是一致的，则整合完成。

[1_Centos7 MySQL_ _]: https://blog.csdn.net/weixin_44775255/article/details/115662187
[2_Hadoop_Hive]: https://blog.csdn.net/weixin_44775255/article/details/115663334
[3_Spark SQ_ MySQL_ Hive]: https://blog.csdn.net/weixin_44775255/article/details/115707963
[4_Spark SQL RDD_RDD_DataFrame_API MySQL]: https://blog.csdn.net/weixin_44775255/article/details/115727069
[8_Hadoop_ _ Hadoop]: https://blog.csdn.net/weixin_44775255/article/details/113775449
[9_Hadoop_ Spark_Scala]: https://blog.csdn.net/weixin_44775255/article/details/114518207
[10_Hadoop_Hbase]: https://blog.csdn.net/weixin_44775255/article/details/114676669
[11_eclipse_Hadoop]: https://blog.csdn.net/weixin_44775255/article/details/114799064
[12_eclipse _ Hdfs java API]: https://blog.csdn.net/weixin_44775255/article/details/114809298
[13_eclipse _ HBase java API]: https://blog.csdn.net/weixin_44775255/article/details/114821297
[14_Hbase java API]: https://blog.csdn.net/weixin_44775255/article/details/117446315
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70]: /images/20221022/361b4deea6d04a34bb54a4b04aebabdb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 1]: /images/20221022/c7f3bf96900149f7899d39ca50e13b51.png
[20210423142550418.png]: /images/20221022/c35339a6c4164b6fb36347689a103766.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 2]: /images/20221022/5b218069c1f644c486e6d0b41d0793f0.png
[20210423144532130.png]: /images/20221022/6486fcd2f8f6412c895ef9f5820d5a9e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 3]: /images/20221022/eca25396a1cc401faa2e225c1f8f7f07.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 4]: /images/20221022/3039624c89a248739c80f86271f228d9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 5]: /images/20221022/d514ca90f564463c848f4aea68b46867.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 6]: /images/20221022/d2248bbd780f498c90ffc07571c66622.png