Hive 3.1.0 安装教程远程模式

ゝ一世哀愁。 2021-11-06 00:58 408阅读 0赞

首先需要搭建Hadoop集群 与 MySQL服务器

Hive只要在一台Hadoop集群的服务器上安装即可

# 1.下载Hive #

Hive3.1下载地址: [http://archive.apache.org/dist/hive/hive-3.1.0/apache-hive-3.1.0-bin.tar.gz][http_archive.apache.org_dist_hive_hive-3.1.0_apache-hive-3.1.0-bin.tar.gz]

将下载好的hive包上传到服务器 /root/hive 并解压

cd /root/hive
    tar -zxvf apache-hive-3.1.0-bin.tar.gz

![20190809154621791.png][]

# 2.配置Hive #

添加hive环境变量

vim /etc/profile

export HIVE_HOME=/root/hive/apache-hive-3.1.0-bin/
    PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/root/bin:$HIVE_HOME/bin

![20190809154753298.png][]

执行命令使配置生效

source /etc/profile

在 /root/hive/apache-hive-3.1.0-bin/conf 增加配置文件

复制 hive-env.sh.template 为 hive-env.sh 增加以下内容

export JAVA_HOME=/root/jdk/jdk8
    export HADOOP_HOME=/root/hadoop/hadoop-3.2.0
    export HIVE_HOME=/root/hive/apache-hive-3.1.0-bin
    export HIVE_CONF_DIR=$HIVE_HOME/conf
    export HIVE_AUX_JARS_PATH=$HIVE_HOME/lib/*

复制 hive-default.xml.template 为 hive-site.xml 删除configuration标签内所有配置信息,增加如下内容

<property>
        <name>system:java.io.tmpdir</name>
        <value>/root/hive/data/tmp</value>
    </property>
    <property>
        <name>system:user.name</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.0.220:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>hive.metastore.local</name>
        <value>false</value>
    </property>
    <property>  
        <name>hive.metastore.uris</name>  
        <value>thrift://192.168.0.200:9083</value>  
    </property>
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>

*  system:java.io.tmpdir --hive临时文件存放目录
 *  system:user.name  --系统用户
 *  javax.jdo.option.ConnectionUserName  --数据库连接用户名
 *  javax.jdo.option.ConnectionPassword  --数据库连接密码
 *  javax.jdo.option.ConnectionURL  --数据库连接URL
 *  javax.jdo.option.ConnectionDriverName  --数据库连接驱动名

复制 hive-log4j2.properties.template 为 hive-log4j2.properties

修改 property.hive.log.dir 配置

property.hive.log.dir = /root/hive/data/logs

下载 MySQL-JDBC jar包

下载地址: [https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.47/mysql-connector-java-5.1.47.jar][https_repo1.maven.org_maven2_mysql_mysql-connector-java_5.1.47_mysql-connector-java-5.1.47.jar]

将 jdbc jar包上传到 /root/hive/apache-hive-3.0.1-bin/lib/ 目录下

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDQ2MTI4MQ_size_16_color_FFFFFF_t_70][]

# 3.运行Hive #

在mysql服务器创建名为 hive 的数据库

![20190809161050454.png][]

在启动Hive前，先在MySQL下创建Hive数据库，执行如下命令：

schematool -dbType mysql -initSchema

执行完成后查看mysql hive 库是否初始化成功

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDQ2MTI4MQ_size_16_color_FFFFFF_t_70 1][]

执行 hive 命令进入 hive

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDQ2MTI4MQ_size_16_color_FFFFFF_t_70 2][]

客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据

有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可

启动metastore服务

nohup hive --service metastore

HiveServer2是一个能使客户端针对hive执行查询的一种服务

启动hiveserver2服务

nohup hive --service hiveserver2

# 4.测试Hive  #

hive 常用命令

show databases;		//查看数据库
    create database database_name;		//新建数据库	
    use database_name;	//使用数据库
    drop database database_name;    //删除数据库
    show tables;	//查看数据表
    show tables in database_name;	//查看数据库下的表
    create table ht_big_data (id int, name string)  row format delimited fields terminated by '\t';		//建表
    show create table table_name;	//查看建表语句
    load data local inpath 'bigdata.txt' overwrite into table ht_big_data;	//加载数据到表中
    load data inpath '/hdfs/hive/bigdata.txt' into table ht_big_data;	//从hdfs中追加数据到hive表
    select * from table_name;	//查看数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDQ2MTI4MQ_size_16_color_FFFFFF_t_70 3][]

[http_archive.apache.org_dist_hive_hive-3.1.0_apache-hive-3.1.0-bin.tar.gz]: http://archive.apache.org/dist/hive/hive-3.1.0/apache-hive-3.1.0-bin.tar.gz
[20190809154621791.png]: /images/20211104/3940d9e79bd04cf581ce1b417ee1a492.png
[20190809154753298.png]: /images/20211104/b1cfcf7783034a88b9f2b2911365042b.png
[https_repo1.maven.org_maven2_mysql_mysql-connector-java_5.1.47_mysql-connector-java-5.1.47.jar]: https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.47/mysql-connector-java-5.1.47.jar
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDQ2MTI4MQ_size_16_color_FFFFFF_t_70]: /images/20211104/e7a64b382cc0467d8076f2bd167d0a50.png
[20190809161050454.png]: /images/20211104/12f1005695944ef390e664c78cd315fe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDQ2MTI4MQ_size_16_color_FFFFFF_t_70 1]: /images/20211104/95cfcc8150c345d9baa2e3463fb01e8e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDQ2MTI4MQ_size_16_color_FFFFFF_t_70 2]: /images/20211104/b9e6adb9791645198524a5730411b9d5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDQ2MTI4MQ_size_16_color_FFFFFF_t_70 3]: /images/20211104/5bcd67ada75049a09c9a9903d6aa8af7.png