CenOS7下Hive集群搭建

阳光穿透心脏的1/2处 2022-05-16 03:19 302阅读 0赞

**CentOS下hive（数据仓库工具）安装**

*  采取服务端与客户端分离模式

在master上安装服务端

在node1上安装客户端

**一、****服务端****安装**

1.输入 mkdir /usr/local/hive ，建立一个hive的目录

![70][]

2.将hive的tar包上传到建好的目录

![70 1][]

3.进入hive目录，输入 tar -zxvf apache-hive-0.13.0-bin.tar.gz 解压hive的tar包

![70 2][]

4.将mysql驱动的jar包放到hive的lib目录下

![70 3][]

5.输入 vi /etc/profile 配置环境变量

![70 4][]

6.添加如下内容，根据自己的解压路径填写，保存并退出

HADOOP\_HOME=/usr/local/hadoop/hadoop-2.7.3/

HIVE\_HOME=/usr/local/hive/apache-hive-0.13.0-bin/

PATH=$PATH:$JAVA\_HOME/bin:$HADOOP\_HOME/bin:$HIVE\_HOME/bin

![70 5][]

7.输入 . /etc/profile 使配置文件生效

![70 6][]

8.输入 mysql -u root -p 进入mysql

![70 7][]

9.输入命令 GRANT ALL PRIVILEGES ON \*.\* TO 'root'@'%' IDENTIFIED BY 'admin' WITH GRANT OPTION; 授权远程登陆

![70 8][]

10.输入命令 FLUSH PRIVILEGES; 使如上修改立即生效

![70 9][]

11.输入 exit 退出mysql

![70 10][]

12.进入hive的conf目录，能看到4个配置文件

![70 11][]

13.分别复制并重命名3个文件，例如cp hive-env.sh.template hive-env.sh，去掉.template后缀即可，将3个文件变为hive实际需要的配置文件，如下所示

![70 12][]

14.输入touch hive-site.xml 新建一个配置文件

![70 13][]

15.输入 vi hive-env.sh 修改配置文件

![70 14][]

16.在文件末尾添加如下内容，配置HADOOP\_HOME和HIVE的配置文件目录，保存并退出

HADOOP\_HOME=/usr/local/hadoop/hadoop-2.7.3/

HIVE\_CONF\_DIR=/usr/local/hive/apache-hive-0.13.0-bin/conf/

HIVE\_AUX\_JARS\_PATH=/usr/local/hive/apache-hive-0.13.0-bin/lib/

export HADOOP\_HOME HIVE\_CONF\_DIR HIVE\_AUX\_JARS\_PATH

![70 15][]

17.输入 vi hive-site.xml 修改配置文件

![70 16][]

18.在文件中加入一下内容，标红部分需要修改，因为你和我的IP不同，这里的mysql密码，要和前边授权的远程登陆密码一致，保存并退出

<table style="width:500px;"> 
 <tbody> 
 <tr> 
 <td> &lt;?xml version="1.0"?&gt; &lt;?xml-stylesheet type="text/xsl" href="configuration.xsl"?&gt; &lt;configuration&gt; &lt;property&gt; &lt;name&gt;javax.jdo.option.ConnectionURL&lt;/name&gt; &lt;value&gt;jdbc:mysql://172.26.177.93:3306/metastore_hive_db?createDatabaseIfNotExist=true&amp;amp;characterEncoding=UTF-8&lt;/value&gt; &lt;description&gt;mysql驱动名&lt;/description&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;javax.jdo.option.ConnectionDriverName&lt;/name&gt; &lt;value&gt;com.mysql.jdbc.Driver&lt;/value&gt; &lt;description&gt;mysql驱动名&lt;/description&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;javax.jdo.option.ConnectionUserName&lt;/name&gt; &lt;value&gt;root&lt;/value&gt; &lt;description&gt;用户名&lt;/description&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;javax.jdo.option.ConnectionPassword&lt;/name&gt; &lt;value&gt;admin&lt;/value&gt; &lt;description&gt;密码&lt;/description&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;hive.metastore.warehouse.dir&lt;/name&gt; &lt;value&gt;hdfs://172.26.177.93:9000/hive/warehouse&lt;/value&gt; &lt;description&gt;数据路径（相对hdfs）&lt;/description&gt; &lt;/property&gt; &lt;/configuration&gt; </td> 
 </tr> 
 </tbody> 
</table>

![70 17][]

**二****、node1建立hive客户端**

1.将master上的整个hive目录移至node1上  
scp -r /usr/local/hive/ root@node1:/usr/local/  
2.在node1上输入cd /usr/local/hive/apache-hive-0.13.0-bin/conf/

，进入hive的conf目录,修改hive-site配置文件vi hive-site.xml

内容如下：

2.修改/etc/profile,与master配置一致，同上第5-6步

19.进入hadoop的sbin目录，输入 ./start-all.sh 启动hadoop

![70 18][]

20.hadoop的hdfs不支持一次性建立多级目录，先输入 hadoop fs -mkdir /hive 建目录，这里建目录是与第18步中修改的数据路径相对应

![70 19][]

21.再输入 hadoop fs -mkdir /hive/warehouse 建目录

![70 20][]

22.输入 hive --service metastore 开启hive数据仓库，若卡住不动如下，其实已经开启了数据仓库，直接打开另一个shell窗口操作即可（例如右键CRT的IP，点击克隆会话）

![70 21][]

![70 22][]

23.任意位置输入 hive cli 进入hive客户端

![70 23][]

24.输入 create table if not exists hadoop(id int,name string); 建一张表，输入 show tables; 查看有 hadoop这张表

![70 24][]

25.输入 describe  FORMATTED hadoop; 查看hadoop表的相关信息

![70 25][]

26.输入 exit; 退出hive客户端

![70 26][]

[70]: /images/20220516/3b75c0168a7041358d857faad5d5569c.png
[70 1]: /images/20220516/c0c9fd59514444f3b8d1190ad8431b13.png
[70 2]: /images/20220516/fdd0267218314e288f9f2f12bce9ef8e.png
[70 3]: /images/20220516/ca4b3bae75494d15bf8485d6fdb9c035.png
[70 4]: /images/20220516/fd1a85afc4464004a2216e7cb4ae3c9b.png
[70 5]: /images/20220516/47d3fd73469b4196a05cb4706eeb43c4.png
[70 6]: /images/20220516/5dddcbb17ecf4af5bbc0a445f696a9df.png
[70 7]: /images/20220516/5d235f0348db4a319e03214f903c5762.png
[70 8]: /images/20220516/cb49bfef616f46c3b8cc152b37b8e90f.png
[70 9]: /images/20220516/2b3114d52d624371a270022e5fa8139e.png
[70 10]: /images/20220516/bbb6c8de841342f4b5bb612bca90c4de.png
[70 11]: /images/20220516/1bd77fb629414f36bf8f3eca70948db9.png
[70 12]: /images/20220516/ea995801b88f48b8a2bf7e5e61d7a314.png
[70 13]: /images/20220516/bfcb2284cc344b8d899da843a4f992cd.png
[70 14]: /images/20220516/1a9e8469d44140ec99ef275870214d98.png
[70 15]: /images/20220516/6f962a7548ed4d08817bc73347427378.png
[70 16]: /images/20220516/742f6f21f4c847ecb9c0e6016d3e78f7.png
[70 17]: /images/20220516/eec1df7ce78a432090bbaf6546e0164c.png
[70 18]: /images/20220516/4010bb5bbe2943e8ae425c64f39b7a45.png
[70 19]: /images/20220516/d807b1890ffa4ac39433eb147f6d1a1b.png
[70 20]: /images/20220516/aace9d1766644bd2a55be69e10cddf26.png
[70 21]: /images/20220516/cc6c14a3589b44728070b3c40564b9fd.png
[70 22]: /images/20220516/5505d977e7b042609b44a308066e0f03.png
[70 23]: /images/20220516/fe78a656dec642379085036cedc4a761.png
[70 24]: /images/20220516/1084a843da8f4e37b2803e076586880b.png
[70 25]: /images/20220516/1aea1737e64844c0b69afe4f2956cff3.png
[70 26]: /images/20220516/0574904a7f464f89ae5f6c55ea4cb855.png