Hive：元数据的三种部署方式

╰+哭是因爲堅強的太久メ 2024-03-17 22:42 84阅读 0赞

## Hive元数据的三种部署方式 ##

### 元数据库之Derby ###

1.内嵌模式示意图：  
![在这里插入图片描述][0629de17816b488694dcc9f2c36c3404.png_pic_center]

2.Derby数据库：  
Derby数据库是Java编写的内存数据库，在内嵌模式中与应用程序共享一个JVM，应用程序负责启动和停止。

1.  初始化Derby数据库  
    1）在hive根目录下，使用/bin目录中的schematool命令初始化hive自带的Derby元数据库  
    \[atguigu@hadoop102 hive\]$ bin/schematool -dbType derby -initSchema

2）执行上述初始化元数据库时，会发现存在jar包冲突问题，现象如下：  
（hadoop和hive下都有这个jar包，以底层的hadoop为主，改了hive的）  
SLF4J: Found binding in \[jar:file:/opt/module/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class\]  
SLF4J: Found binding in \[jar:file:/opt/module/hadoop-3.1.3/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class\]

3）解决jar冲突问题，只需要将hive的/lib目录下的log4j-slf4j-impl-2.10.0.jar重命名即可  
\[atguigu@hadoop102 hive\]$ mv lib/log4j-slf4j-impl-2.10.0.jar lib/log4j-slf4j-impl-2.10.0.back

4.启动Hive  
1）执行/bin目录下的hive命令，就可以启动hive，并通过cli方式连接到hive  
\[atguigu@hadoop102 hive\]$ bin/hive

2）使用Hive

hive> show databases;                                      // 查看当前所有的数据库
    OK
    default
    Time taken: 0.472 seconds, Fetched: 1 row(s)
    hive> show tables;                                         // 查看当前所有的表
    OK
    Time taken: 0.044 seconds
    hive> create table test_derby(id int);            // 创建表test_derby，表中只有一个字段，字段类型是int
    OK
    Time taken: 0.474 seconds
    hive> insert into test_derby values(1001);                 // 向test_derby表中插入数据
    Query ID = atguigu_20211018153727_586935da-100d-4d7e-8a94-063d373cc5dd
    Total jobs = 3
    ……
    Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
    ……
    Stage-Stage-1: Map: 1  Reduce: 1   Cumulative CPU: 6.19 sec   HDFS Read: 12769 HDFS Write: 208 SUCCESS
    Total MapReduce CPU Time Spent: 6 seconds 190 msec
    OK
    Time taken: 31.901 second
    hive> select * from test_derby;                                // 查看test_derby表中所有数据
    OK
    1001
    Time taken: 0.085 seconds, Fetched: 1 row(s)
    hive> exit;

1.  内嵌模式只有一个JVM进程  
    在内嵌模式下，命令行执行jps –ml命令，只能看到一个CliDriver进程。  
    \[atguigu@hadoop102 hive\]$ jps –ml  
    7170 sun.tools.jps.Jps -ml  
    6127 org.apache.hadoop.util.RunJar /opt/module/hive/lib/hive-cli-3.1.2.jar org.apache.hadoop.hive.cli.CliDriver

6.Hive自带的元数据库的问题  
演示采用Derby作为元数据库的问题：  
开启另一个会话窗口运行Hive，同时监控/tmp/atguigu目录中的hive.log文件，会观察到如下错误信息。  
Caused by: ERROR XSDB6: Another instance of Derby may have already booted the database /opt/module/hive/metastore\_db.  
at org.apache.derby.iapi.error.StandardException.newException(Unknown Source)  
at org.apache.derby.iapi.error.StandardException.newException(Unknown Source)  
at org.apache.derby.impl.store.raw.data.BaseDataFileFactory.privGetJBMSLockOnDB(Unknown Source)  
at org.apache.derby.impl.store.raw.data.BaseDataFileFactory.run(Unknown Source)  
…  
Hive默认使用的元数据库为derby并且部署方式是内嵌式，在开启Hive之后就会独占元数据库，且不与其他客户端共享数据，如果想多窗口操作就会报错，操作比较局限。为此Hive支持采用MySQL作为元数据库，就可以支持多窗口操作。

### 元数据库之Mysql ###

1.  直连模式示意图：  
    ![在这里插入图片描述][f1169667d5ae46e8acc5eb12d2a1cc51.png_pic_center]

2.MySQL安装部署  
1）检查当前系统是否安装过Mysql，如果存在就是用下列命令移除，如果不存在则忽略。（一定要做这一步）  
\[atguigu@hadoop102 hive\]$ rpm -qa|grep mariadb  
mariadb-libs-5.5.56-2.el7.x86\_64 //如果存在通过如下命令卸载  
\[atguigu@hadoop102 hive\]$ sudo rpm -e --nodeps mariadb-libs //用此命令卸载mariadb

2）将MySQL安装包上传到/opt/software目录下  
\[atguigu@hadoop102 software\]$ ll  
总用量 528384  
\-rw-r–r–. 1 root root 609556480 3月 21 15:41 mysql-5.7.28-1.el7.x86\_64.rpm-bundle.tar

3）解压MySQL安装包资源到/opt/software 下新创建的mysql\_jars目录  
\[atguigu@hadoop102 software\]$ mkdir /opt/software/mysql\_jars  
\[atguigu@hadoop102 software\]$ tar -xf /opt/software/mysql-5.7.28-1.el7.x86\_64.rpm-bundle.tar -C /opt/software/mysql\_jars

4）查看mysql\_jars目录下解压后的文件如下：  
\[atguigu@hadoop102 software\]$ cd /opt/software/mysql\_jars  
\[atguigu@hadoop102 mysql\_jars\]$ ll  
总用量 595272  
\-rw-r–r–. 1 atguigu atguigu 45109364 9月 30 2019 mysql-community-client-5.7.28-1.el7.x86\_64.rpm  
\-rw-r–r–. 1 atguigu atguigu 318768 9月 30 2019 mysql-community-common-5.7.28-1.el7.x86\_64.rpm  
\-rw-r–r–. 1 atguigu atguigu 7037096 9月 30 2019 mysql-community-devel-5.7.28-1.el7.x86\_64.rpm  
\-rw-r–r–. 1 atguigu atguigu 49329100 9月 30 2019 mysql-community-embedded-5.7.28-1.el7.x86\_64.rpm  
\-rw-r–r–. 1 atguigu atguigu 23354908 9月 30 2019 mysql-community-embedded-compat-5.7.28-1.el7.x86\_64.rpm  
\-rw-r–r–. 1 atguigu atguigu 136837816 9月 30 2019 mysql-community-embedded-devel-5.7.28-1.el7.x86\_64.rpm  
\-rw-r–r–. 1 atguigu atguigu 4374364 9月 30 2019 mysql-community-libs-5.7.28-1.el7.x86\_64.rpm  
\-rw-r–r–. 1 atguigu atguigu 1353312 9月 30 2019 mysql-community-libs-compat-5.7.28-1.el7.x86\_64.rpm  
\-rw-r–r–. 1 atguigu atguigu 208694824 9月 30 2019 mysql-community-server-5.7.28-1.el7.x86\_64.rpm  
\-rw-r–r–. 1 atguigu atguigu 133129992 9月 30 2019 mysql-community-test-5.7.28-1.el7.x86\_64.rpm

5）在/opt/software/mysql\_jars目录下执行rpm安装，严格按照如下顺序执行  
sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86\_64.rpm  
sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86\_64.rpm  
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86\_64.rpm  
sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86\_64.rpm  
sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86\_64.rpm  
注意: linux采用最小化安装会存在问题。

6）如果在mysql的数据存储路径下有文件存在，需要将其全部删除，存储路径地址在/etc/my.cnf文件中datadir参数所对应的值:  
·查看datadir的值：  
\[atguigu@hadoop102 etc\]$ vim my.cnf  
……  
\[mysqld\]  
datadir=/var/lib/mysql  
·删除/var/lib/mysql目录下的所有内容:  
\[atguigu@hadoop102 hive\]$ cd /var/lib/mysql  
\[root@hadoop102 mysql\]$ sudo rm -rf ./\* //千万注意执行命令的位置

7）初始化数据库（这个是mysql数据库安装后的初始化）,会创建mysql内部数据库和表。  
\[atguigu@hadoop102 module\]$ sudo mysqld --initialize --user=mysql

8）初始化完成后，查看临时生成的root用户的密码，也是首次登录msql的密码  
\[atguigu@hadoop102 module\]$ sudo cat /var/log/mysqld.log  
2021-10-18T08:50:32.172049Z 0 \[Warning\] TIMESTAMP with implicit DEFAULT value is deprecated. Please use --explicit\_defaults\_for\_timestamp server option (see documentation for more details).  
2021-10-18T08:50:32.364322Z 0 \[Warning\] InnoDB: New log files created, LSN=45790  
2021-10-18T08:50:32.397350Z 0 \[Warning\] InnoDB: Creating foreign key constraint system tables.  
2021-10-18T08:50:32.453522Z 0 \[Warning\] No existing UUID has been found, so we assume that this is the first time that this server has been started. Generating a new UUID: 73e2af3c-2ff0-11ec-af41-000c29830057.  
2021-10-18T08:50:32.454765Z 0 \[Warning\] Gtid table is not ready to be used. Table ‘mysql.gtid\_executed’ cannot be opened.  
2021-10-18T08:50:32.978960Z 0 \[Warning\] CA certificate ca.pem is self signed.  
2021-10-18T08:50:33.314317Z 1 \[Note\] A temporary password is generated for root@localhost: OU+\*c.C9FZy;

9）启动MySQL服务  
\[atguigu@hadoop102 module\]$ sudo systemctl start mysqld

10）登录MySQL数据库  
\[atguigu@hadoop102 module\]$ mysql -uroot -p  
Enter password: (你的暂时密码) //输入临时生成的密码

11）必须先修改root用户的密码,否则执行其他的操作会报错  
mysql> set password = password(“新密码”);

12）修改mysql库下的user表中的root用户允许任意ip连接  
mysql> update mysql.user set host=‘%’ where user=‘root’;

13）刷新，使得修改生效  
mysql> flush privileges;

3.配置Hive元数据库为MySql

1.  拷贝驱动  
    Hive需要将元数据信息存储到元数据库mysql中，需要使用JDBC的方式连接到MySQL，所以，将MySQL的JDBC驱动拷贝到Hive的lib目录下，供hive调用。  
    \[atguigu@hadoop102 software\]$ cp mysql-connector-java-5.1.37.jar /opt/module/hive/lib

2）配置Metastore到MySql  
在/opt/module/hive/conf目录下新建hive-site.xml文件(新建的配置文件中的配置会覆盖默认配置)  
\[atguigu@hadoop102 hive\]$ vim conf/hive-site.xml

<?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
        
        <property>
            <name>javax.jdo.option.ConnectionURL</name>
            <value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
    </property>
        
        <property>
            <name>javax.jdo.option.ConnectionDriverName</name>
            <value>com.mysql.jdbc.Driver</value>
    </property>
        
        <property>
            <name>javax.jdo.option.ConnectionUserName</name>
            <value>root</value>
        </property>
        
        <property>
            <name>javax.jdo.option.ConnectionPassword</name>
            <value>123456</value>
    </property>
        
        <property>
            <name>hive.metastore.warehouse.dir</name>
            <value>/user/hive/warehouse</value>
        </property>
       
        <property>
            <name>hive.metastore.schema.verification</name>
            <value>false</value>
        </property>
        
        <property>
            <name>hive.metastore.event.db.notification.api.auth</name>
            <value>false</value>
        </property>
    </configuration>

4.Hive初始化元数据库  
在mysql中创建hive存储元数据的数据库metastore，再通过hive的初始化元数据库操作创建表  
1）登陆MySQL  
\[atguigu@hadoop102 module\]$ mysql -uroot -p你的密码

2）新建Hive元数据库  
mysql> create database metastore;  
mysql> quit;

3）初始化Hive元数据库  
\[atguigu@hadoop102 hive\]$ bin/schematool -initSchema -dbType mysql -verbose

5.启动Hive  
1）启动Hive  
\[atguigu@hadoop102 hive\]$ bin/hive

2）使用Hive  
hive> show databases; // 查看所有的数据库  
hive> show tables; // 查看所有的表，刚才创建的表test\_derby是否存在？为什么？  
hive> create table test\_mysql (id int); // 创建test\_mysql表，一个字段为id，类型为int  
hive> insert into test\_mysql values(1002); // 向表test\_mysql中插入数据  
hive> select \* from test\_mysql; // 查看test2表

3）开启另一个窗口测试，是否支持客户端并发访问  
\[atguigu@hadoop102 hvie\]$ bin/hive  
hive> show tables;  
hive> select \* from test\_mysql;

5.直连模式问题：  
在公司生产环境中，网络环境会非常复杂，mysql的所在环境可能存在网络隔离，无法直接访问；另外，mysql的root账户和密码在此模式下会存在泄露风险，存在数据安全隐患。  
思考：在hadoop103上部署hive，元数据库使用的仍然是hadoop102的Mysql实例，如何实现？

### 元数据之MetaStore Server ###

1.元数据服务模式示意图  
![在这里插入图片描述][f28794dd4cc64e0daeb64a21aa95245f.png_pic_center]

2.元数据服务模式  
在服务器端启动MetaStore服务，客户端利用Thrift协议通过MetaStore服务访问元数据库。  
元数据服务的访问方式更适合在生产环境中部署使用，相比内嵌式，该方式更加的灵活。（跨网络跨语言跨平台）

3.将Mysql做为元数据库，部署元数据服务  
1）首先，将hive的元数据库配置为Mysql  
\[atguigu@hadoop102 hive\]$ vim conf/hive-site.xml

2）在hive-site.xml文件中添加如下配置信息

<property>
            <name>hive.metastore.uris</name>
            <value>thrift://hadoop102:9083</value>
    </property>

注意：在配置了此参数后，启动hive之前必须先启动元数据服务，否则，hive启动后无法连接到元数据服务

2）启动元数据服务  
\[atguigu@hadoop102 hive\]$ bin/hive --service metastore  
2021-10-18 18:22:24: Starting Hive Metastore Server  
注意: 启动后窗口不能再操作，需打开一个新的shell窗口做别的操作  
1）启动 hive，查看表及表中数据，是否是Mysql数据库中的表。  
2）在另一个窗口启动hive，测试多客户端能否同时连接操作。  
思考：在hadoop103上使用元数据服务模式部署hive如何实现？

[0629de17816b488694dcc9f2c36c3404.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/3b218a13b181492fb7058e4e3d445ee1.png
[f1169667d5ae46e8acc5eb12d2a1cc51.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/8162c494b29542abb961d39f2d390eb8.png
[f28794dd4cc64e0daeb64a21aa95245f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/771d06bb062f413e91ff03f8e2ab7b7c.png