Hive-入门、安装以及基本使用

梦里梦外; 2022-09-05 14:49 289阅读 0赞

# Hive基本概念 #

Hive:由 Facebook 开源用于解决海量**结构化**日志的数据统计工具。

Hive 是基于 Hadoop 的一个**数据仓库工具**,可以**将结构化的数据文件映射为一张表**,并提供**类 SQL** 查询功能。

**Hive 本质**:将 HQL 转化成 MapReduce 程序  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70]

(1)Hive 处理的数据存储在 HDFS

(2)Hive 分析数据底层的实现是 MapReduce

(3)执行程序运行在 Yarn 上

Hive相当于Hadoop的客户端，因此Hive不需要集群，也不能做集群。用类SQL的语句去进行MR任务的执行。

## Hive 的优缺点 ##

### 优点 ###

(1)操作接口采用类 SQL 语法,提供快速开发的能力(简单、容易上手)。

(2)避免了去写 MapReduce,减少开发人员的学习成本。

(3)Hive 的执行延迟比较高,因此 Hive 常用于数据分析,对实时性要求不高的场合。

(4)Hive 优势在于处理大数据,对于处理小数据没有优势,因为 Hive 的执行延迟比较高。

(5)Hive 支持用户自定义函数,用户可以根据自己的需求来实现自己的函数。

### 缺点 ###

**Hive 的 HQL 表达能力有限**

(1)迭代式算法无法表达，无法表达多个MR的串行调用。

(2)数据挖掘方面不擅长,由于 MapReduce 数据处理流程的限制,效率更高的算法却无法实现。

**Hive 的效率比较低**

(1)Hive 自动生成的 MapReduce 作业,通常情况下不够智能化

(2)Hive 调优比较困难,粒度较粗

## Hive 架构原理 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 1]

1)**用户接口:Client**

CLI(command-line interface)、JDBC/ODBC(jdbc 访问 hive)、WEBUI(浏览器访问hive)

2)**元数据:Metastore**

元数据包括:表名、表所属的数据库(默认是 default)、表的拥有者、列/分区字段、表的类型(是否是外部表)、表的数据所在目录等;

**默认存储在自带的 derby 数据库中,推荐使用 MySQL 存储 Metastore**

3)**Hadoop**

使用 HDFS 进行存储,使用 MapReduce 进行计算。

4)**驱动器:Driver**

(1)**解析器(SQL Parser)**:将 SQL 字符串转换成抽象语法树 AST,这一步一般都用第三方工具库完成,比如 antlr;对 AST 进行语法分析,比如表是否存在、字段是否存在、SQL语义是否有误。就是将sql转换成MR程序。

(2)**编译器(Physical Plan)**:将 AST 编译生成逻辑执行计划。

(3)**优化器(Query Optimizer)**:对逻辑执行计划进行优化。

(4)**执行器(Execution)**:把逻辑执行计划转换成可以运行的物理计划。对于 Hive 来说,就是 MR/Spark的执行。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 2]

Hive 通过给用户提供的一系列交互接口,接收到用户的指令(SQL),使用自己的 Driver,结合元数据(MetaStore),将这些指令翻译成 MapReduce,提交到 Hadoop 中执行,最后,将执行返回的结果输出到用户交互接口。

## Hive 和数据库比较 ##

由于 Hive 采用了类似 SQL 的查询语言 HQL(Hive Query Language),因此很容易将 Hive 理解为数据库。其实从结构上来看,Hive 和数据库除了拥有类似的查询语言,再无类似之处。本文将从多个方面来阐述 Hive 和数据库的差异。数据库可以用在 Online 的应用中,但是Hive 是为数据仓库而设计的,清楚这一点,有助于从应用角度理解 Hive 的特性。

**查询语言**

由于 SQL 被广泛的应用在数据仓库中,因此,专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。

**数据更新**

由于 Hive 是针对数据仓库应用设计的,而**数据仓库的内容是读多写少**的。因此, **Hive 中不建议对数据的改写,所有的数据都是在加载的时候确定好的**。而数据库中的数据通常是需要经常进行修改的,因此可以使用 INSERT INTO … VALUES 添加数据,使用 UPDATE … SET 修改数据。

**执行延迟**

Hive 在查询数据的时候,由于没有索引,需要扫描整个表,因此延迟较高。另外一个导致 Hive 执行延迟高的因素是 MapReduce 框架。由于 MapReduce 本身具有较高的延迟,因此在利用 MapReduce 执行 Hive 查询时,也会有较高的延迟。相对的,数据库的执行延迟较低。当然,这个低是有条件的,即数据规模较小,当数据规模大到超过数据库的处理能力的时候,Hive 的并行计算显然能体现出优势。

**数据规模**

由于 Hive 建立在集群上并可以利用 MapReduce 进行并行计算,因此可以支持很大规模的数据;对应的,数据库可以支持的数据规模较小。

# Hive安装 #

## Hive安装地址 ##

1)Hive 官网地址

http://hive.apache.org/

2)文档查看地址

https://cwiki.apache.org/confluence/display/Hive/GettingStarted

3)下载地址

http://archive.apache.org/dist/hive/

4)github 地址

https://github.com/apache/hive

## Hive安装部署 ##

1、把 apache-hive-3.1.2-bin.tar.gz 上传到指定目录下，并完成解压

2、修改/etc/profile添加环境变量

#HIVE_HOME
    export HIVE_HOME=/opt/module/hive
    export PATH=$PATH:$HIVE_HOME/bin

3、解决日志 Jar 包冲突

mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak

4、初始化元数据库

bin/schematool -dbType derby -initSchema

5、保证hdfs和yarn已经启动

6、启动hive

bin/hive
    
    hive> show databases;
    hive> show tables;
    hive> create table test(id int);
    hive> insert into test values(1001);
    hive> select * from test;
    
    ## 创建的表和数据将会保存在HDFS的指定目录下，默认是/user/hive/warehouse/dbname

![在这里插入图片描述][2e3897468e0741d69992cc136d2834d6.png]

如果插入语句执行出现以下错误的话

[2019-07-09 08:07:16.715]Container exited with a non-zero exit code 1. Error file: prelaunch.err.
    Last 4096 bytes of prelaunch.err :
    Last 4096 bytes of stderr :
    Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
    Please check whether your etc/hadoop/mapred-site.xml contains the below configuration:
    <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
    </property>
    <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
    </property>
    <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${full path of your hadoop distribution directory}</value>
    </property>

在命令行执行，复制信息

hadoop classpath

编辑yarn-site.xml，添加信息：

<configuration>
      <property>
        <name>yarn.application.classpath</name>
        <value>复制的Hadoop classpath信息</value>
      </property>
    </configuration>

在所有的Master和Slave节点进行如上设置，设置完毕后重启Hadoop集群，即可解决。

7、查看默认日志打印，在/tmp/bd/hive.log中

如果在另一个窗口再次开启hive的话，会出现错误**原因在于 Hive 默认使用的元数据库为 derby,开启 Hive 之后就会占用元数据库,且不与其他客户端共享数据,所以我们需要将 Hive 的元数据地址改为 MySQL。MySQL是允许多个客户端同时连接的**

## Hive 元数据配置到 MySQL ##

前提是需要安装好mysql或者mariadb

1、将 MySQL 的 JDBC 驱动（mysql-connector-java-5.1.37.jar）拷贝到 Hive 的 lib 目录下

2、配置 Metastore 到 MySQL

2.1、在$HIVE\_HOME/conf 目录下新建 hive-site.xml 文件

<?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
        
        <property>
            <name>javax.jdo.option.ConnectionURL</name>
            <value>jdbc:mysql://10.10.10.38:13306/metastore?useSSL=false</value>
        </property>
        
        <property>
            <name>javax.jdo.option.ConnectionDriverName</name>
            <value>com.mysql.jdbc.Driver</value>
        </property>
        
        <property>
            <name>javax.jdo.option.ConnectionUserName</name>
            <value>root</value>
        </property>
        
        <property>
            <name>javax.jdo.option.ConnectionPassword</name>
            <value>123456</value>
        </property>
        
        <property>
            <name>hive.metastore.schema.verification</name>
            <value>false</value>
        </property>
        
        <property>
            <name>hive.metastore.event.db.notification.api.auth</name>
            <value>false</value>
        </property>
        
        <property>
            <name>hive.metastore.warehouse.dir</name>
            <value>/user/hive/warehouse</value>
        </property>
    </configuration>

2.2、到指定mysql建立metastore数据库

mysql -uroot -h10.10.10.38 -P13306 -p123456 -e "create database metastore"

2.3、初始化 Hive 元数据库

schematool -initSchema -dbType mysql -verbose

2.4、启动Hive执行命令

hive> show databases;
    hive> show tables;   ## 没有test表了
    hive> create table test(id int);
    hive> select * from test;
    
    ## select还是有数据，说明hive创建表只是在创建元数据也就是映射关系，而数据是保存在hdfs中的，select也是通过映射关系找到hdfs保存数据的路径，然后读取文件中的内容
    
    ## 可以创建一个文件，将其与test表保存路径放到同一个目录下，内容如下
    1111
    12345 5678 哈哈哈

![在这里插入图片描述][da26f94701ff4f1e80745ebeea92619d.png]

再次查询得到结果如下：

hive> select * from test;
    
    OK
    1001
    1111
    NULL
    
    ## 12345 5678 哈哈哈转成int失败，导致获取结果为NULL

我们可以通过数据库的DBS表查看元数据保存的数据库信息，内容如下

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 3]

通过TBLS查看表：

![在这里插入图片描述][001506774a9b4351b962a21e868f03d7.png]

其中的数据库的路径+表明就得到了该表数据在HDFS的保存目录。Hive是先根据表名去找元数据，然后通过元数据找到HDFS的保存目录，最后通过读取HDFS下的文件内容来获取数据的。

因此要通过Hive来查询数据，也可以直接put格式化的数据文件到指定目录，Hive也是可以查到的。

## 使用元数据服务的方式访问 Hive ##

1)在 hive-site.xml 文件中添加如下配置信息

<property>
        <name>hive.metastore.uris</name>
        <value>thrift://hadoop113:9083</value>
    </property>

2)启动 metastore

hive --service metastore
    2021-08-13 17:27:13: Starting Hive Metastore Server
    
    注意: 启动后窗口不能再操作，因为是前台运行

## 使用 JDBC 方式访问 Hive ##

1)在 hive-site.xml 文件中添加如下配置信息

<property>
    	<name>hive.server2.thrift.bind.host</name>
        <value>hadoop113</value>
    </property>
    
    <property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
    </property>

2)启动metastore 和 hiveserver2(需要多等待一会)

hive --service metastore
    hive --service hiveserver2

3)启动 beeline 客户端，或者通过代码去连接

bin/beeline -u jdbc:hive2://hadoop113:10000 -n bd

如果出现以下错误

[bd@hadoop113 ~]$ beeline -u jdbc:hive2://hadoop113:10000 -n bd
    Connecting to jdbc:hive2://hadoop113:10000
    21/08/13 17:37:16 [main]: WARN jdbc.HiveConnection: Failed to connect to hadoop113:10000
    Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop113:10000: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException): User: bd is not allowed to impersonate bd (state=08S01,code=0)
    Beeline version 3.1.2 by Apache Hive

则通过修改Hadoop的core-site.xml文件，添加以下内容，并下发到各个服务器，然后重启集群即可解决

<property>
        <name>hadoop.proxyuser.bd.hosts</name>
        <value>*</value>
    </property>
    
    
    <property>
        <name>hadoop.proxyuser.bd.groups</name>
        <value>*</value>
    </property>

运行成功之后进入如下界面，即可进行cli的交互了

Connecting to jdbc:hive2://hadoop113:10000
    Connected to: Apache Hive (version 3.1.2)
    Driver: Hive JDBC (version 3.1.2)
    Transaction isolation: TRANSACTION_REPEATABLE_READ
    Beeline version 3.1.2 by Apache Hive
    0: jdbc:hive2://hadoop113:10000>

## 后台运行Hive服务 ##

**第一种方法**：

前台启动的方式导致需要打开多个 shell 窗口,可以使用如下方式后台方式启动

**nohup**: 放在命令开头,表示不挂起,也就是关闭终端进程也继续保持运行状态

**/dev/null**:是 Linux 文件系统中的一个文件,被称为黑洞,所有写入改文件的内容都会被自动丢弃

**2>&1** : 表示将错误重定向到标准输出上，0表示标准输入，1表示标准输出，2表示错误输出

**&**: 放在命令结尾,表示后台运行

一般会组合使用: **nohup \[xxx 命令操作\]> file 2>&1 &**,表示将 xxx 命令运行的结果输出到 file 中,并保持命令启动的进程在后台运行。

那么只需要通过如下运行即可

nohup hive --service metastore 2>&1 &
    nohup hive --service hiveserver2 2>&1 &

**第二种方法**：

为了方便使用,可以直接编写脚本来管理服务的启动和关闭

脚本（$HIVE\_HOME/bin/hiveservices.sh）内容如下，需要为其添加可执行脚本

#!/bin/bash
    
    HIVE_LOG_DIR=$HIVE_HOME/logs
    if [ ! -d $HIVE_LOG_DIR ]
    then
    	mkdir -p $HIVE_LOG_DIR
    fi
    
    #检查进程是否运行正常,参数 1 为进程名,参数 2 为进程端口
    function check_process()
    {
        pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
        ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
        echo $pid
        [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
    }
    
    function hive_start()
    {
        metapid=$(check_process HiveMetastore 9083)
        cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
        [ -z "$metapid" ] && eval $cmd || echo "Metastroe 服务已启动"
        server2pid=$(check_process HiveServer2 10000)
        # cmd="nohup hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
        cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
        [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2 服务已启动"
    }
    
    function hive_stop()
    {
        metapid=$(check_process HiveMetastore 9083)
        [ "$metapid" ] && kill $metapid || echo "Metastore 服务未启动"
        server2pid=$(check_process HiveServer2 10000)
        [ "$server2pid" ] && kill $server2pid || echo "HiveServer2 服务未启动"
    }
    
    case $1 in
    "start")
    	hive_start
    	;;
    "stop")
    	hive_stop
    	;;
    "restart")
    	hive_stop
    	sleep 2
    	hive_start
    	;;
    "status")
        check_process HiveMetastore 9083 >/dev/null && echo "Metastore 服务运行正常" || echo "Metastore 服务运行异常"
        check_process HiveServer2 10000 >/dev/null && echo "HiveServer2 服务运行正常" || echo "HiveServer2 服务运行异常"
    	;;
    *)
        echo Invalid Args!
        echo 'Usage: '$(basename $0)' start|stop|restart|status'
    	;;
    esac

之后为了方便测试都采用直连Hive的方式（bin/hive进行交互），进行访问，因此将hive-site.xml中的以下内容注释，生产环境要用JDBC方式来访问Hive，也就是以下内容不能注释掉。

<property>
        <name>hive.metastore.uris</name>
        <value>thrift://hadoop113:9083</value>
    </property>
    
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>hadoop113</value>
    </property>
    
    <property>
        <name>hive.server2.thrift.port</name>
        <value>10000</value>
    </property>

## Hive 常用交互命令 ##

hive -h
    
    usage: hive
     -d,--define <key=value>          Variable substitution to apply to Hive
                                      commands. e.g. -d A=B or --define A=B
        --database <databasename>     Specify the database to use
     -e <quoted-query-string>         SQL from command line
     -f <filename>                    SQL from files
     -H,--help                        Print help information
        --hiveconf <property=value>   Use value for given property
        --hivevar <key=value>         Variable substitution to apply to Hive
                                      commands. e.g. --hivevar A=B
     -i <filename>                    Initialization SQL file
     -S,--silent                      Silent mode in interactive shell
     -v,--verbose                     Verbose mode (echo executed SQL to the
                                      console)

1.  \-e 不进入 hive 的交互窗口执行 sql 语句

bin/hive -e "select id from student;"

1.  \-f 执行脚本中 sql 语句

bin/hive -f /opt/module/hive/datas/hivef.sql
    
    ## 执行文件中的 sql 语句并将结果写入文件中
    bin/hive -f /opt/module/hive/datas/hivef.sql > /opt/module/datas/hive_result.txt

## Hive 其他命令操作 ##

1.  退出 hive 窗口:

hive(default)>exit;
    hive(default)>quit;
    # Ctrl + c

2)在 hive cli 命令窗口中如何查看 hdfs 文件系统

hive(default)>dfs -ls /;

3)查看在 hive 中输入的所有历史命令

(1)进入到当前用户的根目录 /root 或/home/bd

(2)查看. hivehistory 文件

cat .hivehistory

## Hive 常见属性配置 ##

### Hive 运行日志信息配置 ###

Hive 的 log 默认存放在/tmp/bd/hive.log 目录下(当前用户名下)

修改 hive 的 log 存放日志到/opt/module/hive/logs

## 修改/opt/module/hive/conf/hive-log4j2.properties.template 文件名称为hive-log4j2.properties
    
    ## 在 hive-log4j2.properties 文件中修改 log 存放位置
    hive.log.dir=/opt/module/hive/logs

### 打印当前库和表头 ###

在hive-site中加入以下

<property>
        <name>hive.cli.print.header</name>
        <value>true</value>
    </property>
    <property>
        <name>hive.cli.print.current.db</name>
        <value>true</value>
    </property>

没加之前

hive> select * from test;
    OK
    1001
    1111
    NULL
    Time taken: 0.902 seconds, Fetched: 3 row(s)

加了之后

hive (default)> select * from test;
    OK
    test.id
    1001
    1111
    NULL
    Time taken: 2.331 seconds, Fetched: 3 row(s)

### 参数配置方式 ###

1)查看当前所有的配置信息

hive>set;

2)参数的配置三种方式

(1)配置文件方式

默认配置文件:hive-default.xml

用户自定义配置文件:hive-site.xml

注意:**用户自定义配置会覆盖默认配置**。另外, Hive 也会读入 Hadoop 的配置,**因为 Hive是作为 Hadoop 的客户端启动的**,**Hive 的配置会覆盖 Hadoop 的配置**。配置文件的设定对本机启动的所有 Hive 进程都有效。

(2)命令行参数方式

启动 Hive 时,可以在命令行添加\*\*-hiveconf param=value\*\* 来设定参数。

bin/hive -hiveconf mapred.reduce.tasks=10;

**注意:仅对本次 hive 启动有效**

查看参数设置:

hive (default)> set mapred.reduce.tasks;

(3)参数声明方式

可以在 HQL 中使用 SET 关键字设定参数

hive (default)> set mapred.reduce.tasks=100;

**注意:仅对本次 hive 启动有效**

查看参数设置

hive (default)> set mapred.reduce.tasks;

上述三种设定方式的优先级依次递增。即**配置文件<命令行参数<参数声明**。注意某些系统级的参数,例如 log4j 相关的设定,必须用前两种方式设定,因为那些参数的读取在会话建立以前已经完成了。

## 其他 ##

在TABLE\_PARAMS表中，会存放通过hive创建的表或者数据的信息。  
![在这里插入图片描述][ec73104ec5d64922a4e715d1ec126b50.png]

其中numRows就表示通过hive创建的行的个数，那么通过直接上传文件到HDFS，虽然也能起到为表插入数据的作用，但是它不会去修改numRows的内容（元数据）。

而count(\*)命令在默认情况下会直接去读取numRows的数据，而不是去执行MR任务，这样做主要是因为不执行MR的话会提高效率。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70]: /images/20220829/a783259374044266ac1af3fcc1384c4d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 1]: /images/20220829/5083a5b2e28849b284d2ca69b831c281.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 2]: /images/20220829/f4ab0011dac5489ebd0cebe879a79ba8.png
[2e3897468e0741d69992cc136d2834d6.png]: /images/20220829/1c58699c43d84f8fb8facca58488a119.png
[da26f94701ff4f1e80745ebeea92619d.png]: /images/20220829/6163d5c51d2f4d9997acb5b7e79c1382.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 3]: /images/20220829/0c35370c7dbe48f381a4d87c9ae48304.png
[001506774a9b4351b962a21e868f03d7.png]: /images/20220829/91c29debae7c4e3e8168d0806c41d7a1.png
[ec73104ec5d64922a4e715d1ec126b50.png]: /images/20220829/d0e6379492984b5bb4c2e8a004826808.png