记一次 Centos7.x 安装部署 Hue

╰+哭是因爲堅強的太久メ 2022-12-31 07:24 207阅读 0赞

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70]

# 一、基本信息 #

HUE = Hadoop User Experience

Hue 是一个Web应用，用来简化用户和Hadoop集群的交互。Hue技术架构，如下图所示，从总体上来讲，Hue应用采用的是B/S架构，该web应用的后台采用python编程语言别写的。大体上可以分为三层，分别是前端view层、Web服务层和Backend服务层。Web服务层和Backend服务层之间使用RPC的方式调用。

官网 [https://gethue.com/][https_gethue.com]  
github [https://github.com/cloudera/hue][https_github.com_cloudera_hue]  
oschina [https://www.oschina.net/p/Hue?hmsr=aladdin1e1][https_www.oschina.net_p_Hue_hmsr_aladdin1e1]  
review [https://review.cloudera.org/r/][https_review.cloudera.org_r]

# 二、核心功能 #

SQL编辑器，支持Hive, Impala, MySQL, Oracle, PostgreSQL, SparkSQL, Solr SQL, Phoenix…  
搜索引擎Solr的各种图表  
Spark和Hadoop的友好界面支持  
支持调度系统Apache Oozie，可进行workflow的编辑、查看  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 1]  
从上图可以看出，Hue几乎可以支持所有大数据框架，包含有HDFS文件系统对的页面(调用HDFS API，进行增删改查的操作)，有HIVE UI界面(使用HiveServer2，JDBC方式连接，可以在页面上编写HQL语句，进行数据分析查询)，YARN监控及Oozie工作流任务调度页面等等。Hue通过把这些大数据技术栈整合在一起，通过统一的Web UI来访问和管理，极大地提高了大数据用户和管理员的工作效率。这里总结一下Hue支持哪些功能：

默认基于轻量级sqlite数据库管理会话数据，用户认证和授权，可以自定义为MySQL、Postgresql，以及Oracle  
基于文件浏览器（File Browser）访问HDFS  
基于Hive编辑器来开发和运行Hive查询  
支持基于Solr进行搜索的应用，并提供可视化的数据视图，以及仪表板（Dashboard）  
支持基于Impala的应用进行交互式查询  
支持Spark编辑器和仪表板（Dashboard）  
支持Pig编辑器，并能够提交脚本任务  
支持Oozie编辑器，可以通过仪表板提交和监控Workflow、Coordinator和Bundle  
支持HBase浏览器，能够可视化数据、查询数据、修改HBase表  
支持Metastore浏览器，可以访问Hive的元数据，以及HCatalog  
支持Job浏览器，能够访问MapReduce Job（MR1/MR2-YARN）  
支持Job设计器，能够创建MapReduce/Streaming/Java Job  
支持Sqoop 2编辑器和仪表板（Dashboard）  
支持ZooKeeper浏览器和编辑器  
支持MySql、PostGresql、Sqlite和Oracle数据库查询编辑器  
使用sentry基于角色的授权以及多租户的管理.（Hue 2.x or 3.x）

# 三、Hue操作数据 #

使用Hue可以以图形界面的形式创建solr集合，导入数据到Solr中，并建立数据查找索引。  
提供了人性化的UI页面把数据从文件系统（比如Linux文件系统、HDFS）导入Hive中，导入的时候可以把数据转换成相应的Hive表，导入完成之后就可以直接使用Hive SQL查询刚刚导入的数据了。  
使用Hue以图形界面的形式操作HDFS，包括导入、移动、重命名、删除、复制、修改、下载、排序、查看其中的数据等等操作。  
Hue集成了Sqoop组件，这样就可以通过Hue把数据从其他文件系统批量导入到Hadoop中，或者从Hadoop中导出。  
可以通过图形界面的方式操作HBase，可以导入数据到HBase中，可以通过UI界面进行相关的增加、删除和查询操作。

# 四、安装部署 #

1、安装 git 工具

[root@master ~]# yum install -y git

2、进入指定目录 /usr/bigdata/  
如果没有 /usr/bigdata/ 目录，则创建

[root@master ~]# mkdir /usr/bigdata/

[root@master ~]# cd /usr/bigdata/

3、下载文件

[root@master bigdata]# git clone https://github.com/cloudera/hue.git

4、下载效果如下：  
![在这里插入图片描述][2020122902182748.png]  
5、进入下载的 hue 文件目录

[root@master ~]# cd /usr/bigdata/hue

6、查看目录  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 2]  
7、进入 hue 的 desktop 目录

[root@master ~]# cd /usr/bigdata/hue/desktop/

8、查看目录下文件  
![在这里插入图片描述][20201229023122159.png]  
9、进入 hue 的配置文件目录

[root@master ~]# cd /usr/bigdata/hue/desktop/conf

10、复制、重命名 pseudo-distributed.ini.tmpl 文件

[root@master conf]# cp pseudo-distributed.ini.tmpl pseudo-distributed.ini

11、修改 desktop/conf/pseudo-distributed.ini 文件，该文件是hue的全局配置文件。

[root@master conf]# vim pseudo-distributed.ini

12、编辑内容

[desktop]
    	secret_key=cdd8dfb8-e47f-4f1f-bf80-e11ce49e33ea  	# 自定义唯一编码
        http_host=0.0.0.0									# 允许外部所有地址访问
        http_port=8000										# WEB 服务的端口
        time_zone=Asia/Shanghai								# 时区

13、系统安装基本工具

[root@master ~]# yum install -y ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make  mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel

14、安装配置 node 环境  
（注意：2020-12-29 安装 hue 依赖 node 的 v8.17.0 版本，使用其他版本 则编译不通过）  
参考：[https://blog.csdn.net/llwy1428/article/details/111880286][https_blog.csdn.net_llwy1428_article_details_111880286]  
安装配置好 node 环境后，确保 node 版本为 v8.17.0

[root@master ~]# node -v
    v8.17.0

15、配置 npm 淘宝镜像

[root@master ~]# npm install -g cnpm --registry=https://registry.npm.taobao.org

16、安装 nrm 组件，选择安装的 npm 镜像

[root@master ~]# npm install -g nrm

17、查看已存在的 npm 镜像

[root@master hue]# nrm ls

18、存在源列表

* npm -------- https://registry.npmjs.org/
      yarn ------- https://registry.yarnpkg.com/
      cnpm ------- http://r.cnpmjs.org/
      taobao ----- https://registry.npm.taobao.org/
      nj --------- https://registry.nodejitsu.com/
      npmMirror -- https://skimdb.npmjs.com/registry/
      edunpm ----- http://registry.enpmjs.org/

19、选择淘宝镜像

[root@master ~]# nrm use taobao
    		Registry has been set to: https://registry.npm.taobao.org/

20、安装 hue 的 apps

[root@master ~]# cd /usr/bigdata/hue
    [root@master hue]# make apps

安装过程中的部分截图如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 7]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 8]  
注意：这一过程约 30分钟 具体用时视服务器硬件条件而定。

21、系统增加 hue 用户

[root@master ~]# useradd hue

22、把 hue 目录递归授权

[root@master bigdata]# chown hue:root -R hue

23、控制台启动 supervisor

[root@master ~]# cd /usr/bigdata/hue
    [root@master hue]# build/env/bin/supervisor

24、后台守护启动

[root@master hue]# nohup build/env/bin/supervisor  &

25、启动效果  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 9]  
26、查看服务启动后的端口占用 “8000”  
![在这里插入图片描述][20201229041206429.png]

# 五、浏览器查看 WEB UI #

1、浏览器地址栏录入 192.168.11.21:8000 （说明：192.168.11.21 是部署 hue 启动 supervisor 的节点 IP）  
效果如下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 10]  
2、录入用户名、密码 即为初始化的用户名密码  
我这里录入了  
username：hue  
password：hue  
进入后首页效果如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 11]

至此，Centos7.x 安装部署 Hue 操作完毕，希望能够对您有所帮助！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70]: /images/20221120/92bc7091376044c4bd085c5828515ab8.png
[https_gethue.com]: https://gethue.com/
[https_github.com_cloudera_hue]: https://github.com/cloudera/hue
[https_www.oschina.net_p_Hue_hmsr_aladdin1e1]: https://www.oschina.net/p/Hue?hmsr=aladdin1e1
[https_review.cloudera.org_r]: https://review.cloudera.org/r/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 1]: /images/20221120/5cd2bca61cc046a79db1d9048ba2ff9a.png
[2020122902182748.png]: /images/20221120/7015a5441ae34a11b31af4eb628b1e4e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 2]: /images/20221120/01057f620b144ea484b24d273f9be040.png
[20201229023122159.png]: /images/20221120/aba62a49b2204a9981217fbe24dd0900.png
[https_blog.csdn.net_llwy1428_article_details_111880286]: https://blog.csdn.net/llwy1428/article/details/111880286
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 3]: /images/20221120/03ae519f20564bd1b04475a0e6861adc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20201229121315483.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20201229121818922.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20201229121935984.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20201229122226674.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20201229041023473.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20201229042117350.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4,size_16,color_FFFFFF,t_70
[20201229041206429.png]: https://img-blog.csdnimg.cn/20201229041206429.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20201229041714613.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/2020122904185712.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xsd3kxNDI4,size_16,color_FFFFFF,t_70