Hive概念及Hive,MySQL安装、配置

川长思鸟来 2023-09-28 17:04 34阅读 0赞

**目录**

一：Hive的概述

1.1 什么是Hive

1.2 Hive优缺点

二：Hive安装部署

2.1 安装Hive

三：MySQL安装

四：Hive 元数据配置到 MySQL

--------------------

# 一：Hive的概述 #

## 1.1 什么是Hive ##

*  ApacheHive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似SQL的查询模型，称为Hive查询语句（HQL），用于访问和分析存储在Hadoop文件中的大型数据集。
 *  Hive核心是将HQL转换为MapReduce程序，然后将程序提交到Hadoop集群执行。
 *  Hive由Facebook实现并开源。

# 1.2 Hive优缺点 #

**优点：**

> （1）操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。
> 
> （2）避免了去写MapReduce，减少开发人员的学习成本。
> 
> （3）Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。
> 
> （4）Hive优势在于处理大数据，对于处理小数据没有优势，因为Hive的执行延迟比较高。
> 
> （5）Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。

**缺点：**

1）Hive的HQL表达能力有限

> （1）迭代式算法无法表达
> 
> （2）数据挖掘方面不擅长，由于MapReduce数据处理流程的限制，效率更高的算法却无法实现。

2）Hive的效率比较低

> （1）Hive自动生成的MapReduce作业，通常情况下不够智能化
> 
> （2）Hive调优比较困难，粒度较粗

# 二：Hive安装部署 #

## 2.1 安装Hive ##

1）把 apache-hive-3.1.2-bin.tar.gz 上传到 linux 的/opt/software 目录下

2）解压 apache-hive-3.1.2-bin.tar.gz 到/opt/module/目录下面

[ axing@hadoop102 software ] $ tar - zxvf /opt/software/apache-hive-3.1.2-
    bin.tar.gz -C /opt/module/

3）修改 apache-hive-3.1.2-bin.tar.gz 的名称为 hive(方便后面配置环境，也可以不修改)

[ atguigu@hadoop1 02 software ] $ mv /opt/module/apache-hive-3.1.2-bin/ 
    /opt/module/hive

4）修改/etc/profile.d/my\_env.sh，添加环境变量

[ atguigu@hadoop102 software ] $ sudo vim /etc/profile.d/my_env.sh

5）添加内容

#HIVE_HOME 
    export HIVE_HOME=/opt/module/hive 
    export PATH=$PATH : $HIVE_HOME/bin

6）解决日志 Jar 包冲突

[axing@hadoop102 software] $ mv $HIVE_HOME/lib/log4j-slf4j-impl2.10.0.jar
    $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak

7）初始化元数据库

[axing@hadoop102 hive] $ bin/schematool -dbType derby -initSchema

8)启动Hive

[axing@hadoop102 hive] $ bin/hive

> 如果在另外一个CRT窗口开启Hive会报错，原因在于 Hive 默认使用的元数据库为 derby，开启 Hive 之后就会占用元数据库，且不与 其他客户端共享数据，所以我们需要将 Hive 的元数据地址改为 MySQL。

# 三：MySQL安装 #

1）检查当前系统是否安装过 MySQL

[axing@hadoop102~] $ rpm -qa | grep mariadb mariadb-libs-5.5.56-2.el7.x86_64 
    / /如果存在通过如下命令卸载 
    [axing@hadoop102~] $ sudo rpm -e --nodeps mariadb-libs

2）将 MySQL 安装包拷贝到/opt/software 目录下

[axing@hadoop102 software] # ll

3）解压 MySQL 安装包

[axing@hadoop102 software] # tar -xf mysql-5.7.28-1.el7.x86_64.rpmbundle.tar

4）在安装目录下执行 rpm 安装

[axing@hadoop102 software] $ 
    sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm 
    sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm 
    sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm 
    sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm 
    sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

> 注意:按照顺序依次执行
> 
> 如果 Linux 是最小化安装的，在安装 mysql-community-server-5.7.28-1.el7.x86\_64.rpm 时 可能会出现如下错误

[axing@hadoop102 software] $ sudo rpm -ivh mysql-community-server5.7.28-1.el7.x86_64. rp
    
    警告： mysql-community-server-5 . 7 . 2 8 - 1 . el7 . x8 6_64 . rpm : 头 V3 DSA/ SHA1 
    Signature , 密钥 ID 5 0 7 2e1 f5 : NOKEY 错误：依赖检测失败： 
     libaio . so . 1 ( ) ( 64bit ) 被 mysql-community-server-5 . 7 . 2 8 - 1 . el7 . x8 6_64 
    
    需要 
     libaio . so . 1 ( LIBAIO_0 . 1 ) ( 64bit ) 被 mysql-community-server-5 . 7 . 2 8 -
    1 . el7 . x8 6_64 需要 
     libaio . so . 1 ( LIBAIO_0 . 4 ) ( 64bit ) 被 mysql-community-server-5 . 7 . 2 8 -
    1 . el7 . x8 6_64 需要

> 通过 yum 安装缺少的依赖,然后重新安装 mysql-community-server-5.7.28-1.el7.x86\_64 即 可

[axing@hadoop102 software ] yum install -y libaio

5）删除/etc/my.cnf 文件中 datadir 指向的目录下的所有内容,如果有内容的情况下:

![e8fe043ade3f4d87ae076cd7d1c294c9.png][]

6）初始化数据库

[axing@hadoop102 opt] $ sudo mysqld --initiali ze --user=mysql

7）查看临时生成的 root 用户的密码

[axing@hadoop102 opt] $ sudo cat/var/log/mysqld.log

8）启动 MySQL 服务

[ axing@hadoop1 02 opt ] $ sudo systemctl start mysqld

9）登录 MySQL 数据库

[axing@hadoop1 02 opt ] $ mysql -uroot -p 
    Enter password : 输入临时生成的密码

10）必须先修改 root 用户的密码,否则执行其他的操作会报错

mysql> set pas sword = pas sword ( "新密码" ) ;

11）修改 mysql 库下的 user 表中的 root 用户允许任意 ip 连接

mysql> update mysql . user set host= ' % ' where user= ' root ' ; 
    mysql> flush privileges ;

# 四：Hive 元数据配置到 MySQL #

1)拷贝驱动,将 MySQL 的 JDBC 驱动拷贝到 Hive 的 lib 目录下

[axing@hadoop102 software] $ cp /opt/software/mysql-connector-java5.1.37.jar
    $HIVE_HOME/lib

2)配置 Metastore 到 MySQL

在$HIVE\_HOME/conf 目录下新建 hive-site.xml 文件

[axing@hadoop102 software] $ vim $HIVE_HOME/conf/hive-site.xml

添加如下内容

<?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
    
    <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
    </property>
    
    <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    </property>
    
    <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    </property>
    
    <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>zxlzxzzjx2003</value>
    </property>
    
    <property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
    </property>
    
    <property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
    </property>
    
    <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
    </property>
    </configuration>

3)登陆 MySQL

[axing@hadoop102 software] $ mysql -uroot -p密码

3）新建 Hive 元数据库

mysql> create database metastore ; 
    mysql> quit ;

4） 初始化 Hive 元数据库

[axing@hadoop102 software ] $ schematool -initSchema -dbType mysql -verbose

> 现在，就可以再次启动hive，并且可以在在CRT 窗口中开启另一个窗口开启 Hive

[e8fe043ade3f4d87ae076cd7d1c294c9.png]: https://img-blog.csdnimg.cn/e8fe043ade3f4d87ae076cd7d1c294c9.png