Hive的基本应用

喜欢ヅ旅行 2022-01-28 10:27 274阅读 0赞

<table style="width:654px;"> 
 <tbody> 
 <tr> 
 <td style="width:54.6pt;"> 实验 目的 要求 </td> 
 <td style="width:436.05pt;"> &nbsp; 目的： 
 <ol> 
 <li>了解Hive架构，掌握Hive环境部署；</li> 
 <li>了解Hive与Hadoop及传统关系型数据库的对比；</li> 
 <li>掌握Hive中DDL和DML的使用；</li> 
 <li>了解Hive高级应用；</li> 
 <li>Hive内置函数使用及Hive自定义函数；</li> 
 <li>了解Hive常用优化策略；</li> 
 </ol>&nbsp; </td> 
 </tr> 
 <tr> 
 <td style="width:54.6pt;"> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; 实 验 环 境 &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; </td> 
 <td style="width:436.05pt;"> &nbsp; 
 <ol> 
 <li>Java jdk 1.7；</li> 
 <li>apache-maven-3.6.0；</li> 
 <li>Myeclipse C10；</li> 
 <li>CDH Hadoop集群；</li> 
 <li>已配置Hive；</li> 
 <li>具体规划：</li> 
 </ol> 
 <table style="margin-left:6.75pt;width:519px;"> 
 <tbody> 
 <tr> 
 <td style="border-color:#4472c4;width:102.05pt;"> 主机名 </td> 
 <td style="width:129pt;"> IP地址 </td> 
 <td style="border-color:#4472c4;width:158.3pt;"> 服务描述 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#8eaadb;width:102.05pt;"> Cmaster </td> 
 <td style="width:129pt;"> 192.168.159.170 </td> 
 <td style="width:158.3pt;"> 主控节点 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#8eaadb;width:102.05pt;"> Cslaver1 </td> 
 <td style="width:129pt;"> 192.168.159.171 </td> 
 <td style="width:158.3pt;"> 数据节点 </td> 
 </tr> 
 <tr> 
 <td style="border-color:#8eaadb;width:102.05pt;"> Cslaver2 </td> 
 <td style="width:129pt;"> 192.168.159.172 </td> 
 <td style="width:158.3pt;"> 数据服务 </td> 
 </tr> 
 </tbody> 
 </table>&nbsp; &nbsp; &nbsp; &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

# 练习内容 #

## **任务一：Hive DDL的使用；** ##

1、使用命令“hive”启动hive，进入Hive控制台；

![20190523230304441.jpeg][]

2、创建内部表；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70][]

3、创建外部表；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 1][]

4、创建分区表

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 2][]

5、使用hive DDL命令进行一些简单的操作；

![20190523230304472.jpeg][]

![20190523230304488.jpeg][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 3][]

## **任务二：****Hive DML****的使用；** ##

1、创建文本并写入数据；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 4][]

2、进行DML操作；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 5][]

3、创建hdfs用于存放文件的位置，并查看是否创建成功；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 6][]

4、上传数据文件至hdfs；

![20190523230304520.jpeg][]

5、查看上传的文件内容；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 7][]

6、对上传的数据文件进行基本操作；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 8][]

7、将查询结果插入hive表中；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 9][]

8、导出hive的表数据；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 10][]

9、查看导出的数据；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 11][]

## **任务三：****Hive****内置函数的基本操作；** ##

1、获取所有函数；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 12][]

2、查看指定函数的使用方法；

![20190523230304601.jpeg][]

3、进行表操作；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 13][]

4、查看concat的使用方法；

![20190523230304607.jpeg][]

5、连接ename,job字段；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 14][]

## **任务四：****Hive UDF****开发；** ##

1、创建maven工程项目Hive；

1.1、创建项目；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 15][]

1.2、修改pom.xml文件，添加指定依赖；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 16][]

2、Hive UDF开发；

2.1、编写HelloUDF.Java文件；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 17][]

2.2、导出项目为jar包；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 18][]

2.3、上传jar包至集群中；

![20190523230329736.jpeg][]

3、编辑jar包上传至服务器，并将自定义函数UDF添加到Hive中；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 19][]

4、查看自定义函数中是否有以上传的；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 20][]

5、使用自定义函数进行查询操作；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 21][]

## **任务五：****调优策略；** ##

1、并行执行及JVM重用；

![20190523230329756.jpeg][]

2、推测执行，合并小文件；

![20190523230329766.jpeg][]

# **出现的问题与解决方案** #

### **排错一**： ###

**错误：**装载hdfs至hive失败

![20190523230350615.jpeg][]

**排错思路：**

1.  查看指定目录是否正确；
2.  查看指定文件是否正确；
3.  查看命令应用是否正确；

**原因分析：**之前在上传数据文件至hdfs时，系统默认删除了源文件

**解决方案：**重新编写数据文件再次上传；

![20190523230350613.jpeg][]

### **排错二：** ###

**错误**：运行自定义函数失败；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 22][]

**排错思路：**

1.  检查jar包是否合适；
2.  检查环境是否合适；
3.  检自定义函数是否正确

**原因分析：**开发环境开发自定义函数时在jdk1.8环境，而Hadoop集群环境中使用的是jdk1.7环境，jar包jdk版本过高；

![20190523230350631.jpeg][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 23][]

**解决方案：**更改maven项开发环境为jdk1.7版本，重新打包项目为jar包上传至hdfs中使用；

# 知识拓展 #

1. Hive介绍

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。

Hive是SQL解析引擎，它将SQL语句转译成M/R Job然后在Hadoop执行。

2. Hive架构

用户接口，包括 CLI，JDBC/ODBC，WebUI

元数据存储，通常是存储在关系数据库如 mysql, derby 中

解释器、编译器、优化器、执行器

Hadoop：用 HDFS 进行存储，利用 MapReduce 进行计算

Ps:hive的元数据并不存放在hdfs上，而是存储在数据库中(metastore)，目前只支持 mysql、derby。Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。

元数据就是描述数据的数据，而Hive的数据存储在Hadoop HDFS

数据还是原来的文本数据，但是现在有了个目录规划。

3. Hive与Hadoop的关系

Hive利用HDFS存储数据，利用MapReduce查询数据。

4. Hive安装部署

Hive只是一个工具，不需要集群配置。

export HIVE\_HOME=/usr/local/hive-2.0.1

export PATH=PATH:

HIVE\_HOME/bin

配置MySql，如果不进行配置，默认使用derby数据库，但是不好用，在哪个地方执行./hive命令，哪儿就会创建一个metastore\_db

MySQL安装到其中某一个节点上即可。

5. Hive的thrift服务

可以安装在某一个节点，并发布成标准服务，在其他节点使用beeline方法。

启动方式，（假如是在master上）：

启动为前台服务：bin/hiveserver2

启动为后台：nohup bin/hiveserver2 1>/var/log/hiveserver.log 2>/var/log/hiveserver.err &

连接方法：

hive/bin/beeline 回车，进入beeline的命令界面

输入命令连接hiveserver2

beeline> !connect jdbc:hive2://master:10000

beeline> !connect jdbc:hive2://localhost:10000

（master是hiveserver2所启动的那台主机名，端口默认是10000）

[20190523230304441.jpeg]: /images/20220128/5558ce887a624c43b27f0ba587922765.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70]: /images/20220128/9a2e9daad38f482ea6a15b485a92cf83.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 1]: /images/20220128/7a80c6254fd6430eb128ef904d9da8d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 2]: /images/20220128/65ac3ec7bd3e465f8740cb31fe2eabd5.png
[20190523230304472.jpeg]: /images/20220128/548d34585a8d4a569de4b371d4b248e8.png
[20190523230304488.jpeg]: /images/20220128/58a2eb4006014c7980cafd86661e9fb4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 3]: /images/20220128/dbea9a4f229d4f17ba29e2205adea31b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 4]: /images/20220128/88c55fb123a94788a2001abfa78bee0d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 5]: /images/20220128/80eef510e403410cbfffbf35c06827af.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 6]: /images/20220128/ad04c1579ff54675948a108c500f5efa.png
[20190523230304520.jpeg]: /images/20220128/72118df593194dfeb421bddfb8ec7b87.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 7]: /images/20220128/8972cd251294460897eab8c76fe8e0d3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 8]: /images/20220128/70c1890792c94dccb02250101a58cef2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 9]: /images/20220128/253e71781268417a951cd8118c0b59d1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 10]: /images/20220128/741ecd1c1a544597b9b5daf8be26103c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 11]: /images/20220128/e62316a555b04655b0ca7445defc23f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 12]: /images/20220128/43b4836b8aa744c99548b4868cf71e90.png
[20190523230304601.jpeg]: /images/20220128/40e7bdab52914466bdabf3a55adae9b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 13]: /images/20220128/9a81aa9922e044fa9f8aaa490af9bc9d.png
[20190523230304607.jpeg]: /images/20220128/07735f113f704648b433655821bc76fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 14]: /images/20220128/613897cccb5642beb856dbbe34e62060.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 15]: /images/20220128/75f5b356df6947c1ac61430147ae9bff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 16]: /images/20220128/0ad35319793c445eb73d091ada1d63d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 17]: /images/20220128/138613b907514a01a785e280616024af.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 18]: /images/20220128/f2de905c79ca4c0d82b1cb24069abf3c.png
[20190523230329736.jpeg]: /images/20220128/73fa41c0a0d044efa7b29927d8b293e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 19]: /images/20220128/ddd11430d8dc402f84b1a49a0a5ff3d9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 20]: /images/20220128/bdd873d63eef477fa75981b38a97d7a5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 21]: /images/20220128/87bd061a6c8a4e00a774022070c2baf5.png
[20190523230329756.jpeg]: /images/20220128/823ec38d34ab470c88fb7041ca3a76a5.png
[20190523230329766.jpeg]: /images/20220128/93d11f3bf6a84baa9329894b3b207da9.png
[20190523230350615.jpeg]: /images/20220128/ee6ddeac74054f83b4870b77fce84c72.png
[20190523230350613.jpeg]: /images/20220128/88cfd50322894972b680776750cc586d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 22]: /images/20220128/3b617db59cdd46b29b58b6e8fcd1782e.png
[20190523230350631.jpeg]: /images/20220128/dd62c7fb73784be68a8a32a2c728cc95.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3ODIzNjA1_size_16_color_FFFFFF_t_70 23]: /images/20220128/eeeac45e411b42c78865d50a7bff35c4.png