CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作

蔚落 2021-11-17 01:10 443阅读 0赞

# 相关文章链接 #

[CentOS7安装CDH 第一章：CentOS7系统安装][CentOS7_CDH _CentOS7]

[CentOS7安装CDH 第二章：CentOS7各个软件安装和启动][CentOS7_CDH _CentOS7 1]

[CentOS7安装CDH 第三章：CDH中的问题和解决方法][CentOS7_CDH _CDH]

[CentOS7安装CDH 第四章：CDH的版本选择和安装方式][CentOS7_CDH _CDH 1]

[CentOS7安装CDH 第五章：CDH的安装和部署-CDH5.7.0][CentOS7_CDH _CDH_-CDH5.7.0]

[CentOS7安装CDH 第六章：CDH的管理-CDH5.12][CentOS7_CDH _CDH_-CDH5.12]

[CentOS7安装CDH 第七章：CDH集群Hadoop的HA配置][CentOS7_CDH _CDH_Hadoop_HA]

[CentOS7安装CDH 第八章：CDH中对服务和机器的添加与删除操作][CentOS7_CDH _CDH 2]

[CentOS7安装CDH 第九章：CDH中安装Kafka][CentOS7_CDH _CDH_Kafka]

[CentOS7安装CDH 第十章：CDH中安装Spark2][CentOS7_CDH _CDH_Spark2]

[CentOS7安装CDH 第十一章：离线升级CDH版本][CentOS7_CDH _CDH 3]

[CentOS7安装CDH 第十二章：YARN的资源调优][CentOS7_CDH _YARN]

[CentOS7安装CDH 第十三章：CDH资源池配置][CentOS7_CDH _CDH 4]

[CentOS7安装CDH 第十四章：CDH的优化][CentOS7_CDH _CDH 5]

# 1. CDH动态添加机器 #

## 1.2. 对新机器的环境配置 ##

1、配置新机器的JDK环境，保持和其他机器一致，可参考上述JDK的安装；

2、关闭防火墙，如果在线上环境要开放好端口；

3、上传MySQL的连接Jar包；

4、修改原有集群的所有机器的/etc/hosts，将新机器的对应ip添加进去：

echo “192.168.12.120 centos.ouyang.com” >> /etc/hosts

5、将老机器中的/etc/hosts中ip地址对应的主机名的内容复制到新机器上；

![1456560-20190515112544141-492656828.png][]

6、检查新机器的python版本，要和老机器保持一致；

![1456560-20190515112605909-94171277.png][]

7、配置新机器的yum源，可以直接到老机器上复制即可；

cd /etc/yum.repos.d/

scp cloudera-manager.repo 192.168.12.120:/etc/yum.repos.d/

![1456560-20190515112642975-1151449790.png][]

**注意：**

1、在添加其他机器时操作系统和原机器的操作系统要保持版本一致；

2、如果使用jar包安装JDK，安装地址为/usr/java目录下，其他目录下会报错；

3、上传的MySQL连接Jar包需上传到/usr/share/java目录下；

4、安装JDK时建议使用上述的rpm包安装，这样会将python更新一下；

## 1.2. 在CDH的web界面添加新机器 ##

1、点击向集群中添加新主机按钮

![1456560-20190515112732675-1828018416.png][]

2、添加主机向导

![1456560-20190515112751834-1570914109.png][]

3、输入新机器的IP地址搜索新机器，如果是使用阿里云等云服务机器，请输入内网IP，在阿里云上，内网速度比外网快很多

![1456560-20190515112815547-1438094880.png][]

4、搜索到新机器，点击继续按钮

![1456560-20190515112834879-298623490.png][]

5、选择自定义存储库，自定义存储库中的地址就是yum源配置的地址，可以通过cat cloudera-manager.repo命令查看，将其中的baseurl的地址复制进去即可，请注意其中的协议要为http，不能是https

![1456560-20190515112908356-828667648.png][]

6、不安装自带JDK，点击下一步

![1456560-20190515112932719-708368266.png][]

7、输入用户的密码

![1456560-20190515113004760-463638920.png][]

8、在新添加的机器中安装agent（这是拼人品的时候，遇到问题请查看日志，然后解决问题，再重新安装），安装成功后点击继续按钮

**注意：如果在安装过程中，点击了中止按钮，此时需要到命令行端，执行ps -ef | grep yum****命令，查找到对应的yum****进程，并kill****掉，再去web****界面重新安装，否则不能重新安装成功，在web****界面中止，不会把yum****源完全关闭，需要在命令行界面彻底关闭才行**

**![1456560-20190515113043487-1558159650.png][]**

9、安装选定的包，安装完成之后点击继续按钮

![1456560-20190515113111928-215051454.png][]

10、进行主机检查，可以参考上述的CDH安装中，设置大页面和swap

![1456560-20190515113132936-979839571.png][]

11、选择主机模板，一般是不选择模板的，先添加一台空机器进入集群中

![1456560-20190515113157796-1396284809.png][]

12、部署客户端配置，点击继续按钮即可

![1456560-20190515113215147-450745843.png][]

13、添加成功

![1456560-20190515113235180-1401089215.png][]

# 2. CDH动态添加服务 #

1、选择对应服务中的添加角色实例按钮（以HDFS为例）

![1456560-20190515113322714-789853469.png][]

2、为要添加的服务选择具体的主机（以DataNode为例）

![1456560-20190515113339609-1314617292.png][]

3、审核更改DataNode的数据目录和容忍DataNode可以失败的卷（请注意CentOS中挂载的其他磁盘，如果没有挂载其他磁盘，就如下所示，当磁盘容量充足时，不需要添加其他的目录，保留如下目录即可）

![1456560-20190515113402666-1212803313.png][]

4、重新部署客户端配置

![1456560-20190515113423336-1675592045.png][]

按照流程往下走即可，其中的**重新部署客户端**配置选项一定要选，如下图：

![1456560-20190515113437179-618483586.png][]

5、重启过时服务，重启之后点击完成即可

![1456560-20190515113501019-358301904.png][]

6、添加完成，在主界面有一些配置等小问题需要更改，请根据具体情况进行修改即可，例在HDFS中添加了一个DataNode，此时HDFS中的块可以备份为3个，CDH就会提示进行修改，如下图所示，但在生产环境中最好不要修改配置，因为修改配置后有重启服务的提示，一不小心重启服务在生产环境中会造成不好的后果（**注：生产环境中一般情况下不要重启服务，如果一定要重启服务请在晚上等业务较少时再进行操作**）

![1456560-20190515113546148-220811969.png][]

![1456560-20190515113557912-415992283.png][]

7、如果碰到如下情况，新添加的服务还是没有启动，可以手动启动

![1456560-20190515113618158-1988838074.png][]

# 3. CDH的迁移服务 #

1、场景一，A机器的磁盘快满了，新添加了B机器（大磁盘）到集群上：

此时，需要在B机器上添加DN，并删除A机器的DN，但当在B机器上添加DN，并删除A机器的DN时，HDFS集群会自动修复数据，即会保持HDFS中的block块备份为3个，此时会有很多数据通过B机器的DN写入到B机器的磁盘中，会占大量的网络和磁盘IO，此时应该评估B机器的磁盘是否够用（预估2年后的数据量，B机器磁盘是否能装下），是否处于业务低谷，即会不会影响Job的执行。

2、场景二，HDFS中log分区的数据备份：

将存储到HDFS中6个月前的冷数据迁移到 aws s3 / aliyun oss / 或另外的集群上，达到数据备份并清理集群中机器磁盘的目的。

3、注意：

a) 有些服务不能迁移（如DataNode），只能在新机器上添加服务，再在老机器上删除服务。

b) 在迁移服务时会重启集群上的该服务，所以应该选择在业务低谷中对服务进行迁移。

c) 在HDFS中，有balancer平衡器对各个机器中的数据进行平衡，但当一个机器中的数据太多时（另外还有个机器的数据很少），使用平衡器不会将该机器中的数据移除太多，只会移除比较少的一部分，所以一般是在新机器上添加服务，将老机器上的服务删除。

# 4. CDH中的删除服务和机器 #

1、选中该机器，并停止该机器上的所有角色

![1456560-20190515113820854-647869424.png][]

2、去对应的服务中删除该机器中每一个角色

![1456560-20190515114116495-1942644025.png][]

![1456560-20190515114142600-1239927349.png][]

![1456560-20190515114159897-322020026.png][]

3、通过命令行，关闭该机器的的agent服务，并将该机器从集群中移除

![1456560-20190515114225696-25763868.png][]

![1456560-20190515114256223-508588674.png][]

4、成功将该机器从集群中移除（移除也可以直接选中该机器，然后解除授权，但速度太慢，不建议使用，上述删除每个服务的方法速度较快）

![1456560-20190515114322670-910985129.png][]

转载于:https://www.cnblogs.com/yangshibiao/p/10868523.html

[CentOS7_CDH _CentOS7]: https://www.cnblogs.com/yangshibiao/p/10862239.html
[CentOS7_CDH _CentOS7 1]: https://www.cnblogs.com/yangshibiao/p/10862296.html
[CentOS7_CDH _CDH]: https://www.cnblogs.com/yangshibiao/p/10862583.html
[CentOS7_CDH _CDH 1]: https://www.cnblogs.com/yangshibiao/p/10862632.html
[CentOS7_CDH _CDH_-CDH5.7.0]: https://www.cnblogs.com/yangshibiao/p/10862656.html
[CentOS7_CDH _CDH_-CDH5.12]: https://www.cnblogs.com/yangshibiao/p/10868021.html
[CentOS7_CDH _CDH_Hadoop_HA]: https://www.cnblogs.com/yangshibiao/p/10868308.html
[CentOS7_CDH _CDH 2]: https://www.cnblogs.com/yangshibiao/p/10868523.html
[CentOS7_CDH _CDH_Kafka]: https://www.cnblogs.com/yangshibiao/p/10868615.html
[CentOS7_CDH _CDH_Spark2]: https://www.cnblogs.com/yangshibiao/p/10869558.html
[CentOS7_CDH _CDH 3]: https://www.cnblogs.com/yangshibiao/p/10869806.html
[CentOS7_CDH _YARN]: https://www.cnblogs.com/yangshibiao/p/10870628.html
[CentOS7_CDH _CDH 4]: https://www.cnblogs.com/yangshibiao/p/10870846.html
[CentOS7_CDH _CDH 5]: https://www.cnblogs.com/yangshibiao/p/10870948.html
[1456560-20190515112544141-492656828.png]: /images/20211116/734260aca178449fb26828138ba14679.png
[1456560-20190515112605909-94171277.png]: /images/20211116/edba940da3c6448183c231f1da6ff2bf.png
[1456560-20190515112642975-1151449790.png]: /images/20211116/9ed88e5244414512a52a58033d70d633.png
[1456560-20190515112732675-1828018416.png]: /images/20211116/b99cfcac72d147f593bbf9683f0edcfc.png
[1456560-20190515112751834-1570914109.png]: /images/20211116/b5b64d9180f045db9bdbb4b50371203b.png
[1456560-20190515112815547-1438094880.png]: /images/20211116/3af7c1202f4645048b492ebe4352fae5.png
[1456560-20190515112834879-298623490.png]: /images/20211116/c21705f3a27b47b79bb5375e78c0a3d6.png
[1456560-20190515112908356-828667648.png]: /images/20211116/03d24205a6624ba99648bf8c5d4c1328.png
[1456560-20190515112932719-708368266.png]: /images/20211116/dbb6f0d0a2784506819c9060c7181a74.png
[1456560-20190515113004760-463638920.png]: /images/20211116/b01d7aacaf2b4a36aa48cb5660b95f02.png
[1456560-20190515113043487-1558159650.png]: /images/20211116/596bef583fd446329e740fb35a147af3.png
[1456560-20190515113111928-215051454.png]: /images/20211116/c5862026bf274b71ac99e4af3793ebd6.png
[1456560-20190515113132936-979839571.png]: /images/20211116/21a908384c904f48a793298e26696988.png
[1456560-20190515113157796-1396284809.png]: /images/20211116/e69feb3089f44d8fbf6abc3b5faa9159.png
[1456560-20190515113215147-450745843.png]: /images/20211116/7b40788f829d4f90bb285e1669010efb.png
[1456560-20190515113235180-1401089215.png]: /images/20211116/7fca2653276c4b6488f08718a63fd69b.png
[1456560-20190515113322714-789853469.png]: /images/20211116/fb86607eab934ca8812955b1f5c68fcc.png
[1456560-20190515113339609-1314617292.png]: /images/20211116/8ab5a93e8bb146a8898ba92d578a557b.png
[1456560-20190515113402666-1212803313.png]: /images/20211116/fa967e0a83ab4e8aaece03abbf29a4d8.png
[1456560-20190515113423336-1675592045.png]: /images/20211116/8e61c13a0f8a42daa2fe5c85f0157c94.png
[1456560-20190515113437179-618483586.png]: /images/20211116/99ec9c08b0894d2e81f4b8776c3a3dd5.png
[1456560-20190515113501019-358301904.png]: /images/20211116/4319a76aa4af412f9bcf92c9bd03d448.png
[1456560-20190515113546148-220811969.png]: /images/20211116/aab25ec5fa9a487dbf4b21718ca39aba.png
[1456560-20190515113557912-415992283.png]: /images/20211116/b88cbc9bf5f8421fba1493e812a81360.png
[1456560-20190515113618158-1988838074.png]: /images/20211116/711b7456ea034e9c8e33e2dbec9519e2.png
[1456560-20190515113820854-647869424.png]: /images/20211116/43ea147ebe4e444099fbedcf47f2a345.png
[1456560-20190515114116495-1942644025.png]: /images/20211116/ecf4d199652e4ec3b8af33763c7e74ed.png
[1456560-20190515114142600-1239927349.png]: /images/20211116/0428aeef18b5481e88e96f35c0b767a9.png
[1456560-20190515114159897-322020026.png]: /images/20211116/f203d5d8e50841d4adf9e95344a5bb49.png
[1456560-20190515114225696-25763868.png]: /images/20211116/45b8457f0a374da58f55ca9c997bc9a4.png
[1456560-20190515114256223-508588674.png]: /images/20211116/751d1b9d968049fd9d6528c3a1042013.png
[1456560-20190515114322670-910985129.png]: /images/20211116/6e0eae5ed3104b0597cbaeabf99cd682.png