Ubuntu16.04上安装配置Hive（详细过程）

电玩女神 2021-11-04 12:10 712阅读 0赞

**一、Hive简介**

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。  
       Hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。这套映射工具称之为metastore，一般存放在derby、mysql中。  
Hive 中的元数据包括表的名字，表的列和分区及其属性，表的属性（是否为外部表等），表的数据所在目录等。而在HDFS中，Hive的数据就存储在这里，利用MapReduce来调用执行。  
       Hive要运行Hadoop伪分布式上，请确保Hadoop已经成功运行。默认情况下，Hive元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。为了支持多用户多会话，则需要一个独立的元数据库，我们使用 MySQL 作为元数据库，Hive 内部对 MySQL 提供了很好的支持。

**二、安装Hive**

1.shell命令完成Hive的解压

$ sudo tar -zxvf ./apache-hive-1.2.1-bin.tar.gz -C /usr/local   \# 解压到/usr/local中  
$ cd /usr/local/  
$ sudo mv apache-hive-1.2.1-bin hive       \# 将文件夹名改为hive  
$ sudo chown -R dblab:dblab hive            \# 修改文件权限

**2. 配置环境变量**

编辑~/.bashrc文件: gedit` ~/.bashrc`

export HIVE\_HOME=/usr/local/hive

export PATH=$PATH:$HIVE\_HOME/bin

保存退出后，运行**`source ~/.bashrc`**使配置立即生效。

**3. 修改`/usr/local/hive/conf`下的hive-site.xml**  
将hive-default.xml.template重命名为hive-default.xml；新建一个文件`touch hive-site.xml`，并在hive-site.xml中粘贴如下配置信息：

<description>Driver class name for a JDBC metastore</description>

</property>

<name>javax.jdo.option.ConnectionUserName</name>

<description>username to use against metastore database</description>

</property>

<name>javax.jdo.option.ConnectionPassword</name>

<description>password to use against metastore database</description>

</property>

</configuration>

**三、安装并配置mysql**

**1.Ubuntu16下mysql的安装请参考：**[https://blog.csdn.net/weixin\_42209572/article/details/98983741][https_blog.csdn.net_weixin_42209572_article_details_98983741]

**2.下载mysql jdbc包 地址：**[https://dev.mysql.com/downloads/connector/j/][https_dev.mysql.com_downloads_connector_j]

$ tar -zxvf mysql-connector-java-5.1.40.tar.gz   \#解压

$ cp mysql-connector-java-5.1.40/mysql-connector-java-5.1.40-bin.jar /usr/local/hive/lib   \#将mysql-connector-java-5.1.40-bin.jar拷贝到/usr/local/hive/lib目录下

**3. 启动并登陆mysql shell**

$ service mysql start   \#启动mysql服务

$ mysql -u root -p   \#登陆shell界面

**4. 新建hive数据库**。

$ mysql> create database hive;   \#这个hive数据库与hive-site.xml中localhost:3306/hive的hive对应，用来保存hive元数据

**5. 配置mysql允许hive接入：**

$ mysql> grant all on \*.\* to hive@localhost identified by 'hive';  \#将所有数据库的所有表的所有权限赋给hive用户，后面的hive是配置hive-site.xml中配置的连接密码

$ mysql> flush privileges;   \#刷新mysql系统权限关系表

**6. 启动hive**  
启动hive之前，请先启动hadoop集群。

$ start-all.sh \#启动hadoop

$ hive \#启动hive

解决Hive启动，Hive metastore database is not initialized的错误。出错原因：重新安装Hive和MySQL，导致版本、配置不一致。在终端执行如下命令:

$ schematool -dbType mysql -initSchema

Hive分布现在包含一个用于Hive Metastore架构操控的脱机工具，名为schematool.此工具可用于初始化当前Hive版本的 Metastore架构。此外，其还可处理从较旧版本到新版本的架构升级。

[https_blog.csdn.net_weixin_42209572_article_details_98983741]: https://blog.csdn.net/weixin_42209572/article/details/98983741
[https_dev.mysql.com_downloads_connector_j]: https://dev.mysql.com/downloads/connector/j/