hive3.x版本结合mapreduce的安装教程

深藏阁楼爱情的钟 2022-12-15 12:57 212阅读 0赞

环境：hive3.x、mapreduce、mysql8

安装mysql的教程：[https://blog.csdn.net/wtl1992/article/details/108890461][https_blog.csdn.net_wtl1992_article_details_108890461]

## 前提： ##

### hive需要采用MySQL数据库保存Hive元数据。因为Hive自带的derby存储元数据不能支持多个用户连接，实际上derby只能允许一个会话连接。 ###

安装hive：

1、配置环境变量，hive

vim /etc/profile

export JAVA_HOME=/mine/jdk1.8.0_201
    export HIVE_HOME=/mine/apache-hive-3.1.2-bin
    export HADOOP_HOME=/mine/hadoop-3.2.0
    export ZOOKEEPER_HOME=/mine/apache-zookeeper-3.6.2-bin
    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:/$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$HIVE_HOME/bin

2、vim conf/hive-env.sh

![20201017073948478.png][]

mv hive-env.sh.template hive-env.sh

在hive-env.sh里添加如下内容：

export JAVA_HOME=/mine/jdk1.8.0_201
    export HADOOP_HOME=/mine/hadoop-3.2.0
    export HIVE_HOME=/mine/apache-hive-3.1.2-bin
    export HIVE_CONF_DIR=/mine/apache-hive-3.1.2-bin/conf

3、vim conf/hive-site.xml

touch hive-site.xml

在hive-site.xml里添加如下内容：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    
    <configuration>
      
      
      
      
    <property>
     <name>javax.jdo.option.ConnectionURL</name>
     <value>jdbc:mysql://47.104.9.61:3306/hive?useUnicode=true&characterEncoding=UTF-8&autoReconnect=true&useSSL=false&serverTimezone=GMT</value>
    </property>
    <property>
     <name>javax.jdo.option.ConnectionDriverName</name>
     <value>com.mysql.cj.jdbc.Driver</value>
    </property>
    <property>
     <name>javax.jdo.option.ConnectionUserName</name>
     <value>hive</value>
    </property>
    <property>
     <name>javax.jdo.option.ConnectionPassword</name>
     <value>hive</value>
    </property>
    </configuration>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70][]

![20201017090321171.png][]

在mysql里建立用户hive：

CREATE USER 'hive' IDENTIFIED BY 'hive';

更新授权数据库：

![20201017091113873.png][]

update user set grant_priv='Y' where user='hive';
    flush privileges;

现在就能给用户赋予权限了

允许远程连接：

GRANT ALL ON *.* TO 'root'@'%';

如果使用客户端连接提示了plugin caching\_sha2\_password错误，这是因为MySQL8.0的密码策略默认为caching\_sha2\_password

使用命令修改策略

ALTER USER 'hive'@'%' IDENTIFIED WITH mysql_native_password BY 'hive';

出现的错误的解决方案：

### Unexpected character '=' (code 61); expected a semi-colon after the reference for entity 'useUnicode ###

### xml文件中不能使用&，要使用他的转义&来代替。 ###

4、然后重新运行格式化数据库的语句

schematool -dbType mysql -initSchema

![20201017091429481.png][]

5、将mysql的驱动包放入lib里

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 1][]

![20201017080526353.png][]

6、配置hadoop的core-site.xml添加的内容：

<property>
    <name>hadoop.proxyuser.hive.hosts</name>
    <value>*</value>
    </property>
    <property>
    <name>hadoop.proxyuser.hive.groups</name>
    <value>*</value>
    </property>

7、执行hive

hive

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 2][]

8、beeline连接hiveserver2

hiveserver2 &

beeline

beeline -u jdbc:hive2://localhost:10000/ -n root

![20201017101053242.png][]

hadoop.proxyuser.hive.hosts配置项名称中hive部分为报错User:\* 中的用户名部分  
我的报错是root,所有我改成：

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
    </property>
    <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
    </property>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 3][]

[https_blog.csdn.net_wtl1992_article_details_108890461]: https://blog.csdn.net/wtl1992/article/details/108890461
[20201017073948478.png]: /images/20221123/155f72fabff64daa9eb8c12e0c58ee35.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70]: /images/20221123/f48d6706ea8c45819fd6f9783a59ae9a.png
[20201017090321171.png]: /images/20221123/3953486bbfb64a7782b8e671179e5f16.png
[20201017091113873.png]: /images/20221123/f095906d14544a2fa62fbf8ad787a54d.png
[20201017091429481.png]: /images/20221123/c51daf000c1041e89bbfff25f6402a42.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 1]: /images/20221123/b0ec30edbb2a40eebce2e579fab5a64f.png
[20201017080526353.png]: /images/20221123/a1a6aafc8e144bccababd9744f597f90.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 2]: /images/20221123/91dcd2b708d547099d5c188c9d5cb9b6.png
[20201017101053242.png]: /images/20221123/021ae5a2dd554b948bdf8e25c513f825.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3d0bDE5OTI_size_16_color_FFFFFF_t_70 3]: /images/20221123/8143db05e2a748d388cc358bc26cbf52.png