Cloudera Manager和CDH搭建相关事项

逃离我推掉我的手 2022-05-10 22:58 181阅读 0赞

Cloudera Manager和CDH搭建可参考“[https://blog.csdn.net/gtsina/article/details/78048925][https_blog.csdn.net_gtsina_article_details_78048925]”这篇博客，亲测可以搭建成功。搭建过程遇到的一些问题及解决方案记录如下：

### 1、安装之前一定要配置ntpd服务器，不然会出现警告 ###

解决方案：

如何安装ntpd服务器，请参考“[https://blog.csdn.net/freedomboy319/article/details/46710255][https_blog.csdn.net_freedomboy319_article_details_46710255]”。

### 2、设置root授权访问以上所有的数据库 ###

解决方案：

\#授权root用户在主节点拥有所有数据库的访问权限  
grant all privileges on \*.\* to 'root'@'n1' identified by 'xxxx' with grant option;  
flush privileges;

其中'xxxx'为mysql的密码

### 3、Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响：  ###

解决方案：

在终端运行命令 “echo 0 > /proc/sys/vm/swappiness”即可解决。

### 4、已启用透明大页面压缩，可能会导致重大性能问题。请运行“echo never > /sys/kernel/mm/transparent\_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent\_hugepage/enabled”以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。以下主机将受到影响 ###

解决方案：

运行“echo never > /sys/kernel/mm/transparent\_hugepage/defrag”和“echo never > /sys/kernel/mm/transparent\_hugepage/enabled”以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。

5、在如下页面可能需要需要reports 、oozie 、hue数据库，不然不会出现“Successful ”

![Center][]

解决方案：

create database reports DEFAULT CHARSET utf8 COLLATE utf8\_general\_ci;  
           create database oozie DEFAULT CHARSET utf8 COLLATE utf8\_general\_ci;  
           create database hue DEFAULT CHARSET utf8 COLLATE utf8\_general\_ci;

### **6、在安装hive和oozie的过程中，都需要Mysql的JDBC驱动。** ###

解决方案：

Hive的拷贝位置为：\# cp /opt/cm-5.4.7/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar /opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/hive/lib/

Oozie的拷贝位置为：\# cp /opt/cm-5.4.7/share/cmf/lib/mysql-connector-java-5.1.33-bin.jar /var/lib/oozie/

### 7、启动Spark-shell报错：1024MB+3..MB ###

解决方案：

Yarn修改参数配置：CM UI界面->YARN->配置->筛选器->类别->资源管理

[https_blog.csdn.net_gtsina_article_details_78048925]: https://blog.csdn.net/gtsina/article/details/78048925
[https_blog.csdn.net_freedomboy319_article_details_46710255]: https://blog.csdn.net/freedomboy319/article/details/46710255
[Center]: /images/20220511/eb3b9e9302c34bef99a277e72bc4f2ab.png