Hive修改derby为mysql数据库

╰半夏微凉° 2022-02-27 15:30 306阅读 0赞

### 一、概述 ###

1.  hive可以管理hdfs上的文件，用表的形式来管理文件数据。而表名、表里有哪些字段，字段类型、哪张表存在哪个数据下等这些表信息，称之为hive的元数据信息
2.  默认情况下，hive的元数据信息不是存在hdfs上的，而是存在hive自带的derby关系型数据库里的
3.  Hive安装完成之后，通常都需要替换元数据库，目前Hive只支持derby和mysql两种元数据库，需要将元数据库替换为MySQL
4.  元数据的默认字符集是ISO8859-1

### 二、derby存在的问题 ###

1.  derby数据库是一种文件型的数据库，在进入时会检查当前目录下是否有metastore\_db文件夹用来存储数据库数据，如果有就直接使用，如果没有就创建，这样一旦换一个目录，元数据就找不到了
2.  derby数据库是一个单用户的数据库，无法支持多用户同时操作，而hive如果使用derby作为元数据库，则也只能支持单用户操作，这就导致在数据量大连接多的情况下会产生大量连接的积压

## 替换为MySQL ##

所以每次在不同的目录启动hive都会生成不同的derby数据文件，所以很麻烦，不如直接替换成MySQL使用  
不同的目录指的是在当前目录通过路径的方式启动hive 例如在home目录下 sh /home/software/hive-1.2.2/bin/hive,就会在home目录下生成metastore\_db文件

##### 1. 将mysql驱动包上传到hive安装目录的lib目录下 #####

下载地址：[http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.38/][http_central.maven.org_maven2_mysql_mysql-connector-java_5.1.38]

cp mysql-connector-java-5.1.38.jar /home/software/hive-1.2.2/lib/

##### 2. 进入conf目录下，编辑新的配置文件，名字为：hive-site.xml #####

vim hive-site.xml

##### 3. 配置相关信息： #####

数据库的连接信息，按照自己的数据库填写既可

<configuration>
    	<property>
    		<name>javax.jdo.option.ConnectionURL</name>
    		<value>jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true</value>
    	</property>
    	<property>
    		<name>javax.jdo.option.ConnectionDriverName</name>
    		<value>com.mysql.jdbc.Driver</value>
        </property>
    	<property>
    		<name>javax.jdo.option.ConnectionUserName</name> 
    		<value>root</value> 
    	</property>
    	<property>
    		<name>javax.jdo.option.ConnectionPassword</name>
    		<value>root</value>
    	</property>
    </configuration>

##### 4. 进入hive ,进入bin目录，执行：sh hive #####

如果出现：Access denied for user ‘root’@‘hadoop01’ (using password: YES）这个错误，指的是当前用户操作mysql数据库的权限不够

##### 5. 使用连接工具到mysql数据库，进行权限分配 #####

grant all privileges on *.* to 'root'@'hadoop01' identified by 'root' with grant option; grant all on *.* to 'root'@'%' identified by 'root';
    flush privileges;

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70]

##### 6. 进入mysql数据库，执行：create database hive character set latin1; #####

![在这里插入图片描述][20190328020908160.png]

##### 7. 启动hive客户端 #####

sh hive

##### 8. 以上步骤都做完后，再次进入mysql的hive数据，发现有如下的表： #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70 1]

##### 9. 可以通过DBS 、TBLS、COLUMNS\_V2、SDS这几张表来查看元数据信息 #####

用hive创建一个表  
![在这里插入图片描述][20190328021225178.png]

create table stu(id int,name varchar(50));

a. DBS 存放的数据库的元数据信息  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70 2]  
b. TBLS存放的tables表信息  
![在这里插入图片描述][20190328021309756.png]  
c. COLUMNS表存放的是列字段信息3  
![在这里插入图片描述][20190328021335662.png]

d. SDS表存放的HDFS里的位置信息  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][20190328021350609.png]

[http_central.maven.org_maven2_mysql_mysql-connector-java_5.1.38]: http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.38/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70]: /images/20220227/2d0055bca3c84a42bf7ecd8f33446e0d.png
[20190328020908160.png]: /images/20220227/7ca35b6d438a4cdfab8b1c1a8cd0fdb9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70 1]: /images/20220227/fc70f0d64f2a48609926e17ee03e73cb.png
[20190328021225178.png]: /images/20220227/0d16eb908dc34403862082870268761f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70 2]: /images/20220227/820d0b648b25464c82e63d47d78acb7a.png
[20190328021309756.png]: /images/20220227/b8a0823ba1af487dbfa66eac960791b8.png
[20190328021335662.png]: /images/20220227/224ae8609ef549eda40059d51fc7e9f1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3l1MzQyMTA3MDU2_size_16_color_FFFFFF_t_70 3]: /images/20220227/0c404668d786410a85b99375de364bbf.png
[20190328021350609.png]: /images/20220227/cc15466a9bcf40e4b9ad811f26a5afed.png