Hive部署,hive客户端

妖狐艹你老母 2024-03-02 08:16 75阅读 0赞

### 1、Hive部署 ###

Hive是分布式运行的框架还是单机运行的？

*  Hive是单机工具，只需要部署在一台服务器即可。
 *  Hive虽然是单机的，但是它可以提交分布式运行的MapReduce程序运行。

#### 1.1、规划 ####

我们知道Hive是单机工具后，就需要准备一台服务器供Hive使用即可。  
同时Hive需要使用元数据服务，即需要提供一个关系型数据库，我们也选择一台服务器安装关系型数据库即可。

所以：  
![在这里插入图片描述][7ef0b49173244f9287388cec219787a3.png]

为了简单起见，都安装到node1服务器上。

#### 1.2、步骤1：安装MySQL数据库 ####

##### 1.2.1、先联网 #####

![在这里插入图片描述][1b923d66193d407f990fe1552e76c178.png]

在ifcfg-ens33添加

DNS1=114.114.114.114

重启网络

service network restart

![在这里插入图片描述][ec84c7a33cf340c288c563f187cef141.png]  
![在这里插入图片描述][9ecf76ef6b2546bc9d2b6073da045394.png]

##### 1.2.3、安装mysql #####

# 更新密钥
    rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
    
    # 安装Mysql yum库
    rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm
    
    # yum安装Mysql
    yum -y install mysql-community-server
    
    # 启动Mysql设置开机启动
    systemctl start mysqld
    systemctl enable mysqld
    
    # 检查Mysql服务状态
    systemctl status mysqld
    
    # 第一次启动mysql，会在日志文件中生成root用户的一个随机密码，使用下面命令查看该密码
    grep 'temporary password' /var/log/mysqld.log
    
    # 修改root用户密码
    mysql -u root -p -h localhost
    Enter password:
     
    
    # 如果你想设置简单密码，需要降低Mysql的密码安全级别
    set global validate_password_policy=LOW; # 密码安全级别低
    set global validate_password_length=4;	 # 密码长度最低4位即可
    
    # 然后就可以用简单密码了（课程中使用简单密码，为了方便，生产中不要这样）
    ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';
    
    # 设置远程登录
    grant all privileges on *.* to root@"%" identified by 'root' with grant option; 
    # 刷新 
    flush privileges;

#### 1.3、步骤2：配置Hadoop ####

Hive的运行依赖于Hadoop（HDFS、MapReduce、YARN都依赖）。  
同时涉及到HDFS文件系统的访问，所以需要配置Hadoop的代理用户。  
即设置hadoop用户允许代理（模拟）其它用户。

配置如下内容在Hadoop的core-site.xml中，并分发到其它节点，且重启HDFS集群

*  配置

<property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
      </property>
    
      <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
      </property>

*  分发  
    ![在这里插入图片描述][9018b456cca54504be4fc97fcfd8c18e.png]
 *  重启hdfs  
    先停再启

stop-dfs.sh

start-dfs.sh

#### 1.4、步骤3：下载解压Hive ####

*  切换到hadoop用户

su - hadoop

*  下载Hive安装包：  
    [http://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz][http_archive.apache.org_dist_hive_hive-3.1.3_apache-hive-3.1.3-bin.tar.gz]
 *  解压到node1服务器的：/export/server/内

tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export/server/

![在这里插入图片描述][1ae24f432384469688bd8454237714ee.png]

*  设置软连接

ln -s /export/server/apache-hive-3.1.3-bin /export/server/hive

![在这里插入图片描述][87dad4cab9104bad8818f7b987a879ab.png]

#### 1.5、步骤4：提供MySQL Driver包 ####

*  下载MySQL驱动包：  
    [https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar][https_repo1.maven.org_maven2_mysql_mysql-connector-java_5.1.34_mysql-connector-java-5.1.34.jar]
 *  将下载好的驱动jar包，放入：Hive安装文件夹的lib目录内

mv mysql-connector-java-5.1.34.jar /export/server/hive/lib/

![在这里插入图片描述][385000c34f2d49d2bdf4aeb0308cc30b.png]

#### 1.6、步骤5：配置Hive ####

##### 1.6.1、hive-env.sh文件 #####

在Hive的conf目录内，新建hive-env.sh文件，填入以下环境变量内容：

export HADOOP_HOME=/export/server/hadoop
    export HIVE_CONF_DIR=/export/server/hive/conf
    export HIVE_AUX_JARS_PATH=/export/server/hive/lib

![在这里插入图片描述][86d7476f37534f7db2ebe06415dd0ccd.png]

![在这里插入图片描述][0c10d559c66f40c6a4e93a35754073fa.png]

##### 1.6.2、hive-site.xml #####

在Hive的conf目录内，新建hive-site.xml文件，填入以下内容：

连接数据库时，用户名和密码要对应自己mysql设置的

<configuration>
      <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://bigdatanode1:3306/hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8</value>
      </property>
    
      <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
      </property>
    
      <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
      </property>
    
      <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>root</value>
      </property>
    
      <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>bigdatanode1</value>
      </property>
    
      <property>
        <name>hive.metastore.uris</name>
        <value>thrift://bigdatanode1:9083</value>
      </property>
    
      <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
      </property>
    
    </configuration>

#### 1.7、步骤6：初始化元数据库 ####

支持Hive的配置已经完成，现在在启动Hive前，需要先初始化Hive所需的元数据库。

*  在MySQL中新建数据库：hive

CREATE DATABASE hive CHARSET UTF8;

![在这里插入图片描述][8322a8a97fce430abef4df250b6a2159.png]

*  执行元数据库初始化命令：

cd /export/server/hive

bin/schematool -initSchema -dbType mysql -verbos

![在这里插入图片描述][41e1bbf852ad45f6b1a6a4ca06029712.png]

![在这里插入图片描述][0f1d2afb360c4d0eb9d1c928dd56f380.png]

初始化成功后，会在MySQL的hive库中新建74张元数据管理的表。  
![在这里插入图片描述][a4f788e7a0f742e7af3ff9476c36c379.png]

#### 1.8、步骤7：启动Hive（使用Hadoop用户） ####

必须先启动hdfs和yarn

start-dfs.sh

start-yarn.sh

*  确保Hive文件夹所属为hadoop用户  
    ![在这里插入图片描述][86e2bb5913d84b7495c6fa26f9959b6d.png]
 *  创建一个hive的日志文件夹：

mkdir /export/server/hive/logs

![在这里插入图片描述][9ede8239c7b140ed9470d1d391ac2f0c.png]

启动元数据管理服务（必须启动，否则无法工作）

*  前台启动：bin/hive --service metastore
 *  后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &  
    ![在这里插入图片描述][030e892c03584f7cab16d513535f04b9.png]![在这里插入图片描述][30ec6e2c0cab40feb8d252f5fbb220ee.png]

启动客户端，二选一（当前先选择Hive Shell方式）

*  Hive Shell方式（可以直接写SQL）： bin/hive

bin/hive

![在这里插入图片描述][92a32f6bb8964a038ba7b939c3f40270.png]

*  Hive ThriftServer方式（不可直接写SQL，需要外部客户端链接使用）： bin/hive --service hiveserver2

### 2、Hive体验 ###

首先，确保启动了Metastore服务。  
![在这里插入图片描述][c0cd7fe8f84e485aa5efca9e7806d7f3.png]

可以执行：bin/hive，进入到Hive Shell环境中，可以直接执行SQL语句。  
![在这里插入图片描述][83554c6c90ca4708a3fd4846d10e5586.png]

#### 2.1、创建表 ####

CREATE TABLE test(id INT, name STRING, gender STRING);

![在这里插入图片描述][23d6ff4a07fa4f77aba6db1029f0dec1.png]

#### 2.2、插入数据 ####

INSERT INTO test VALUES(1, '王力红', '男'), (2, '周杰轮', '男'), (3, '林志灵', '女');

![在这里插入图片描述][5cee22e5f7a048de9981189d0d42addf.png]

#### 2.3、查询数据 ####

SELECT gender, COUNT(*) AS cnt FROM test GROUP BY gender;

![在这里插入图片描述][4adebc93a9ff4d479c1d12f0c2a1e305.png]

#### 2.4、验证Hive的数据存储 ####

Hive的数据存储在HDFS的：/user/hive/warehouse中  
![在这里插入图片描述][f83ed5282d8543a793bfd860a8a49738.png]

#### 2.5、验证SQL语句启动的MapReduce程序 ####

打开YARN的WEB UI页面查看任务情况：http://bigdatanode1:8088  
![在这里插入图片描述][70413c92979d46319ed9bf9dea812349.png]

### 3、hive客户端 ###

#### 3.1、HiveServer2 & Beeline ####

##### 3.1.1、HiveServer2服务 #####

在启动Hive的时候，除了必备的Metastore服务外，有2种方式使用Hive：

*  方式1： bin/hive 即Hive的Shell客户端，可以直接写SQL
 *  方式2： bin/hive --service hiveserver2  
    后台执行脚本：nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &

bin/hive --service metastore，启动的是元数据管理服务  
bin/hive --service hiveserver2，启动的是HiveServer2服务

HiveServer2是Hive内置的一个ThriftServer服务，提供Thrift端口供其它客户端链接  
可以连接ThriftServer的客户端有：

*  Hive内置的 beeline客户端工具（命令行工具）
 *  第三方的图形化SQL工具，如DataGrip、DBeaver、Navicat等

Hive的客户端体系如下  
![在这里插入图片描述][db427f3a8c9d44a89a98e76eac868fd0.png]

*  启动  
    在hive安装的服务器上，首先启动metastore服务，然后启动hiveserver2服务。

nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &

![在这里插入图片描述][ab89b17a27c34d29978bc736b52b558c.png]

##### 3.1.2、beeline #####

*  在node1上使用beeline客户端进行连接访问。需要注意hiveserver2服务启动之后需要稍等一会才可以对外提供服务。
 *  Beeline是JDBC的客户端，通过JDBC协议和Hiveserver2服务进行通信，协议的地址是：jdbc:hive2://node1:10000

/export/server/hive/bin/beeline

![在这里插入图片描述][483818167e8c4539a4ccaaf09e9cc665.png]

! connect jdbc:hive2://bigdatanode1:10000

![在这里插入图片描述][2f1a39fb8c91420990c2589cb4f5486a.png]

#### 3.2、DataGrip & DBeaver ####

我这里用idea连接数据库

##### 3.2.1、idea #####

*  在idea右边找到hive  
    ![在这里插入图片描述][4547b8ca1f1d4e3fb583f78deecdc971.png]
 *  配置连接，下载驱动  
    ![在这里插入图片描述][8991b71aaaca4f768587c9f9fb756c4c.png]
 *  测试链接  
    ![在这里插入图片描述][194e87f875e0499f90394f02f39a7881.png]  
    ![在这里插入图片描述][67bc4b95d6564377ab34b59e37071c3b.png]
 *  进行操作  
    ![在这里插入图片描述][fd27105672b94937940e4e7695a123b3.png]

##### 3.2.2、DBeaver #####

DBeaver的连接都是差不多的，注意的是DBeaver的hive驱动要自己下载并引入，默认提供的不能用。

结束！！！！  
hy:41

--------------------

人所有的拖沓都是代表他并非真正热爱。

[7ef0b49173244f9287388cec219787a3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/fa6fd4e1f2084505a3a9db1acdeb1b9f.png
[1b923d66193d407f990fe1552e76c178.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/1e86e896d40d443ea1e07b880da1d7d1.png
[ec84c7a33cf340c288c563f187cef141.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/437ce95c7c4641afbabaf1de706f334c.png
[9ecf76ef6b2546bc9d2b6073da045394.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/65c19082a29b4c45b9e80499f7e18ea7.png
[9018b456cca54504be4fc97fcfd8c18e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/42d70389f881499d9c8d0405e683b9c8.png
[http_archive.apache.org_dist_hive_hive-3.1.3_apache-hive-3.1.3-bin.tar.gz]: http://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
[1ae24f432384469688bd8454237714ee.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/19a23b0cb56e4bc0904308ef02121383.png
[87dad4cab9104bad8818f7b987a879ab.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/da451cea1a1a4101ac60a73754b23caf.png
[https_repo1.maven.org_maven2_mysql_mysql-connector-java_5.1.34_mysql-connector-java-5.1.34.jar]: https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar
[385000c34f2d49d2bdf4aeb0308cc30b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/bea53c541929440883c1dadc2aad0cf5.png
[86d7476f37534f7db2ebe06415dd0ccd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/d9e7cf39886041aa88faab49f1fe32cb.png
[0c10d559c66f40c6a4e93a35754073fa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/4e7b729493bc4580a622c6cccaeb16b6.png
[8322a8a97fce430abef4df250b6a2159.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/ff97ea9da84a4e94a18576a7a4c3fe5b.png
[41e1bbf852ad45f6b1a6a4ca06029712.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/7bccf1e754db41b5a2ac3561bd773f8b.png
[0f1d2afb360c4d0eb9d1c928dd56f380.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/a7c95202fe8d476b98f69e720cab4d35.png
[a4f788e7a0f742e7af3ff9476c36c379.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/71a3e4dbe6aa4502b37c94cef2aa0776.png
[86e2bb5913d84b7495c6fa26f9959b6d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/a0dfb49e6fd24389b9676cff3b930f99.png
[9ede8239c7b140ed9470d1d391ac2f0c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/b324eb0a7ba14f9cb986f47f42b81690.png
[030e892c03584f7cab16d513535f04b9.png]: https://img-blog.csdnimg.cn/030e892c03584f7cab16d513535f04b9.png
[30ec6e2c0cab40feb8d252f5fbb220ee.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/c60b9ee19c21482aae3ac6f7c5f82b28.png
[92a32f6bb8964a038ba7b939c3f40270.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/b95f271f32ce4f7791928fc4a62643bc.png
[c0cd7fe8f84e485aa5efca9e7806d7f3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/af22aa4cfc37496b88d9aae6aecfc6d4.png
[83554c6c90ca4708a3fd4846d10e5586.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/c26397748837424f8a911c059a471933.png
[23d6ff4a07fa4f77aba6db1029f0dec1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/6fa276e1daa0443c9e189266604dd9e7.png
[5cee22e5f7a048de9981189d0d42addf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/eab67c9cc2124ef49ad9f0d94b171abf.png
[4adebc93a9ff4d479c1d12f0c2a1e305.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/208001b6747248cc907bcbfc15dc7222.png
[f83ed5282d8543a793bfd860a8a49738.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/a22e8e8e15b245a19e9c2f303082d9db.png
[70413c92979d46319ed9bf9dea812349.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/54c417be69f94f57a4bd1b45e68c252b.png
[db427f3a8c9d44a89a98e76eac868fd0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/9ded9b29e16f4e55a1bbe5ce03b425de.png
[ab89b17a27c34d29978bc736b52b558c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/5d666e8f8feb415b819554fb319ceff8.png
[483818167e8c4539a4ccaaf09e9cc665.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/4d70b96b7fcb469d934d3a36a9b3b1cb.png
[2f1a39fb8c91420990c2589cb4f5486a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/78ad981b1ed54747a6d78dacc010eb57.png
[4547b8ca1f1d4e3fb583f78deecdc971.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/344c041b20584104be65ad3b9f105fe6.png
[8991b71aaaca4f768587c9f9fb756c4c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/b836861b02934c80bca3122e4eb836ba.png
[194e87f875e0499f90394f02f39a7881.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/2ccef85fd6064f578515edd1e397e763.png
[67bc4b95d6564377ab34b59e37071c3b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/02b1d186d9004880ad00a67905872982.png
[fd27105672b94937940e4e7695a123b3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/ea1d354379984c0cb40c2b8c19b5937b.png