hadoop cluster decommission node (下线节点，超级实用)

谁践踏了优雅 2022-02-05 05:39 263阅读 0赞

一、描述

为了节约成本，避免资源浪费，下线集群中的一个节点，也就是把一台云主机回收喽。

centos 6.6\_64bit

hadoop 2.6.0

二、操作步骤（动态下线）

下线节点主机名如下，在hadoop用户下操作，配置文件都在conf目录下

host-10-10-10-10 \#\#一看就在云上是不是

1.在conf目录下创建文件

touch excludes

echo "host-10-10-10-10" > exclude

less exclude \#\#要有验证

2.修改配置文件hdfs-site.conf

vi hdfs-site.xml

添加如下内容，路径根据自己的实际情况

<property>

<name>dfs.hosts.exclude</name>

<value>/usr/local/RoilandGroup/hadoop-2.6.0/etc/hadoop/excludes</value>

</property>

3.修改配置文件 yarn-site.conf

添加如下内容，路径根据自己的实际情况

<property>

<name>yarn.resourcemanager.nodes.exclude-path</name>

<value>/usr/local/RoilandGroup/hadoop-2.6.0/etc/hadoop/excludes</value>

</property>

4.刷新hdfs节点（namenode active操作）

hdfs dfsadmin -refreshNodes

hdfs dfsadmin -report \#\#观察节点是否decommission

5.刷新nodemanager节点（resourcemanager active操作）

yarn rmadmin -refreshNodes

6.修改slave文件

注释掉主机名

\#host-10-10-10-10

7.同步exclude文件和slave文件

scp exclude 到namenode/resourcemanager 的 standby节点

8.再次验证，确保是我们想要的结果，通知运维同事可以回收云主机。

三、注意事项

1.生产环境操作之前一定要做好测试

2.查看官方文档，要知道自己修改的文件对系统有多大影响，做到心里有数。

本文转自 roidba 51CTO博客，原文链接：http://blog.51cto.com/roidba/1922803，如需转载请自行联系原作者

发表评论取消回复

表情：

评论列表（有 0 条评论，263人围观）

还没有评论，来说两句吧...

相关阅读

相关超级超级实用的整个网页截图技巧

【开发工具】如何使用浏览器截取整个网页 1、打开开发者工具：右键-检查 2、按下快捷键Shift+Crrl+P，打开 3、输入“> Capture full size s

﹏ヽ暗。殇╰゛Y/ 2022年10月11日 01:22/ 0 赞/ 253 阅读

相关 redis cluster 动态加入节点

承接上次的cluster实验，这次我想加入7007 master和7008 slave两个节点 ./redis-trib.rb add-node 1.1.1.2:70

短命女/ 2022年09月25日 13:28/ 0 赞/ 182 阅读

相关 redis：cluster nodes

作用 cluster nodes ：列出集群当前已知的所有节点（ node），以及这些节点的相关信息集群中的每个节点都有当前集群配置的一个视图（快照），视图的信

亦凉/ 2022年09月17日 03:11/ 0 赞/ 239 阅读

相关 Hadoop 节点服役退役上线下线集群再平衡

![Center][] slaves只是决定在你启动集群的时候哪些数据节点会起来，并不决定连不连接到NN，你也可以不添加在slaves中，手动去启动。 ![Center 1

阳光穿透心脏的1/2处/ 2022年06月04日 07:27/ 0 赞/ 217 阅读

相关 Hadoop Single Node Cluster环境搭建

参考： [linux中执行jps进程没有完全显示5个进程][linux_jps_5] [How I was finally able to run the infamo

叁歲伎倆/ 2022年05月24日 07:28/ 0 赞/ 153 阅读

相关 Centos7下配置DRBD三节点模式（HA Cluster+Backup Node）

操作环境 CentOS Linux release 7.4.1708 (Core) DRBDADM\_BUILDTAG=GIT-hash:\\ ee1266526383

桃扇骨/ 2022年05月18日 05:10/ 0 赞/ 252 阅读

相关 hadoop cluster tips

用user用户运行课本上的单机版测试程序报错 org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Inp

刺骨的言语ヽ痛彻心扉/ 2022年02月21日 10:05/ 0 赞/ 188 阅读

相关 add new node in hadoop without restarting the cluster

For the new node step 1:modify /etc/hostname slave0X =============================

淩亂°似流年/ 2022年02月12日 14:53/ 0 赞/ 207 阅读

相关 hadoop cluster decommission node (下线节点，超级实用)

一、描述为了节约成本，避免资源浪费，下线集群中的一个节点，也就是把一台云主机回收喽。 centos 6.6\_64bit hadoop 2.6.0 二、操作

谁践踏了优雅/ 2022年02月05日 05:39/ 0 赞/ 264 阅读

相关 Hadoop: Setting up a Single Node Cluster.

[http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.ht

Love The Way You Lie/ 2022年01月23日 09:01/ 0 赞/ 176 阅读