Hive系列(三)Hive环境安装之MYSQL

朱雀 2022-05-23 01:27 211阅读 0赞

# 前言 #

前面介绍了Hive的基本环境安装，Hive环境中的Metastore默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore，本篇将介绍安装MySQL来存储MetaStore;

[Hive系列(二)Hive基本环境安装][Hive_Hive]

# 一、MySql安装 #

### 1、安装包准备 ###

**1）查看mysql是否安装，如果安装了，卸载mysql**

（1）查看

# rpm -qa|grep mysql

例如可能会展示出类似这样的名称：mysql-libs-5.1.73-7.el6.x86\_64

（2）卸载

卸载通过yum安装的Mysql：

# yum remove mysql mysql-server mysql-libs mysql-server;

找到Mysql相关的东西：

# find / -name mysql

查询Mysql相关的rmp安装包：

# rpm -qa|grep mysql

执行卸载：

# rpm -e mysql相关文件

> rpm -ev –nodeps mysql相关文件

**2）解压mysql-libs.zip文件到当前目录**

[root@linux01 software]$ unzip mysql-libs.zip
    [root@linux01 software]$ ls
    mysql-libs.zip
    mysql-libs

**3）进入到mysql-libs文件夹下，并设置当前用户执行权限**

[root@linux01 mysql-libs]# ll
    总用量 76048
    -rw-r--r--. 1 root root 18509960 3月  26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm
    -rw-r--r--. 1 root root  3575135 12月  1 2013 mysql-connector-java-5.1.27.tar.gz
    -rw-r--r--. 1 root root 55782196 3月  26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm
    
    [root@linux01 mysql-libs]# chmod u+x ./*
    [root@linux01 mysql-libs]# ll
    总用量 76048
    -rwxr--r--. 1 root root 18509960 3月  26 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm
    -rwxr--r--. 1 root root  3575135 12月  1 2013 mysql-connector-java-5.1.27.tar.gz
    -rwxr--r--. 1 root root 55782196 3月  26 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm

--------------------

### 2、安装MySql服务器 ###

**1）安装mysql服务端**

[root@linux01 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm

**2）查看产生的随机密码**

[root@linux01 mysql-libs]# cat /root/.mysql_secret
        OEXaQuS8IWkG19Xs

**3）查看mysql状态**

[root@linux01 mysql-libs]# service mysql status

**4）启动mysql**

[root@linux01 mysql-libs]# service mysql start

--------------------

### 3 安装MySql客户端 ###

**1）安装mysql客户端**

[root@linux01 mysql-libs]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

**2）链接mysql**

[root@linux01 mysql-libs]# mysql -uroot -pOEXaQuS8IWkG19Xs

**3）修改密码**

mysql>SET PASSWORD=PASSWORD(123456);

**4）退出mysql**

mysql>exit

--------------------

### 4、MySql中user表中主机配置 ###

配置只要是root用户+密码，在任何主机上都能登录MySQL数据库。

**1）进入mysql**

[root@linux01 mysql-libs]# mysql -uroot -p123456

**2）显示数据库**

mysql>show databases;

**3）使用mysql数据库**

mysql>use mysql;

**4）展示mysql数据库中的所有表**

mysql>show tables;

**5）展示user表的结构**

mysql>desc user;

**6）查询user表**

mysql>select User, Host, Password from user;

**7）修改user表，把Host表内容修改为%**

mysql>update user set host='%' where user='root' and host='localhost';

**8）删除root用户的其他host**

mysql>delete from user where User='root'and Host='linux01';
    mysql>delete from user where User='root'and Host='127.0.0.1';
    mysql>delete from user where User='root'and Host='::1';

**9）刷新**

mysql>flush privileges;

**10）退出**

mysql> exit;

--------------------

### 5、Hive元数据配置到MySql ###

#### 5.1驱动拷贝 ####

1）在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包
    
    [root@linux01 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz
    
    2）拷贝/opt/software/mysql-libs/mysql-connector-java-5.1.27目录下的
    mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/
    
    [root@linux01 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/

#### 5.2 配置Metastore到MySql ####

**1）在/opt/module/hive/conf目录下创建一个hive-site.xml**

[root@linux01 conf]# touch hive-site.xml
    [root@linux01 conf]# vi hive-site.xml

在hive-site.xml文件中输入任意字符后保存（保证编码）

**2）从hive-default.xml.template拷贝信息到hive-site.xml文件**  
**3）根据官方文档配置参数**

[https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin][https_cwiki.apache.org_confluence_display_Hive_AdminManual_MetastoreAdmin]

<?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
        <property>
          <name>javax.jdo.option.ConnectionURL</name>
          <value>jdbc:mysql://linux01:3306/metastore?createDatabaseIfNotExist=true</value>
          <description>JDBC connect string for a JDBC metastore</description>
        </property>
    
        <property>
          <name>javax.jdo.option.ConnectionDriverName</name>
          <value>com.mysql.jdbc.Driver</value>
          <description>Driver class name for a JDBC metastore</description>
        </property>
    
        <property>
          <name>javax.jdo.option.ConnectionUserName</name>
          <value>root</value>
          <description>username to use against metastore database</description>
        </property>
    
        <property>
          <name>javax.jdo.option.ConnectionPassword</name>
          <value>123456</value>
          <description>password to use against metastore database</description>
        </property>
    
        <property>
            <name>hive.querylog.location</name>
            <value>/home/admin/modules/apache-hive-1.2.2-bin/iotmp</value>
        </property>
    
        <property>
            <name>hive.exec.local.scratchdir</name>
            <value>/home/admin/modules/apache-hive-1.2.2-bin/iotmp</value>
        </property>
    
        <property>
            <name>hive.downloaded.resources.dir</name>
            <value>/home/admin/modules/apache-hive-1.2.2-bin/iotmp</value>
        </property>
    
        <property>
            <name>hive.metastore.schema.verification</name>
            <value>false</value>
        </property>
    
    </configuration>

**4）配置完毕后，如果启动hive异常，可以重新启动虚拟机。（重启后，别忘了启动hadoop集群）**

#### 5.3 多窗口启动Hive测试 ####

**1）先启动MySQL**

mysql -uroot -p123456

查看有几个数据库

**2）再次打开多个窗口，分别启动hive**

$ bin/hive

**3）启动hive后，回到MySQL窗口查看数据库，显示增加了metastore数据库**

到这里，安装MySQL来存储MetaStore已完成！

[Hive_Hive]: https://blog.csdn.net/u012834750/article/details/80494709
[https_cwiki.apache.org_confluence_display_Hive_AdminManual_MetastoreAdmin]: https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin