hadoop正确地添加和移除节点

素颜马尾好姑娘i 2023-06-29 05:39 28阅读 0赞

# **添加节点** #

### **克隆** ###

克隆一台全新的Linux（如有IP冲突，可右击VMware右下角网络图标断开连接）

打开/etc/hostname修改主机名

打开/etc/sysconfig/network-script/ifcfg-ens33修改IP

重启

### **安装** ###

使用安装包+hadoop-install.sh脚本快速安装一个Hadoop节点

注意使用source hadoop-install.sh执行

### **配置NameNode** ###

打开/etc/hosts添加新节点的IP和主机名

打开etc/hadoop/slaves添加新节点的主机名

打开hdfs-site.xml，设置节点平衡带宽设置（默认值1M，下面设置为10M）

<property>

<name>dfs.datanode.balance.bandwidthPerSec</name>

<value>20971520</value>

</property>

### **同步DataNode配置** ###

在所有DataNode节点上执行hadoop-pull.sh

注意修改脚本中的NameNode变量值！

### **启动** ###

在新节点上执行

*hadoop-daemon.sh start datanode*

### **平衡** ###

让各个DataNode中的数据均匀分布，

*start-balancer.sh -threshold 5*

\-threshold是平衡阈值，默认值允许10%的差异，值越小越平衡，但花费的时间会越长

通过下面的命令也可以设置平衡时使用的网络带宽（字节/秒）

*hdfs dfsadmin -setBalancerBandwidth20971520*

在网络带宽受限的情况下，平衡速度较慢，需要耐心等待一段时间才能观察到效果

平衡时先通过NameNode提供的元数据进行平衡规划，然后开启多线程将数据从老节点移到新节点。

如果想查看平衡的过程，可以用下面的命令：

*hdfs balancer -threshold 5*

## **移除节点** ##

如果节点中已经保存了数据，则从slaves中移除节点，重启集群这种暴力手段就不适用了，如果暴力删除则会造成数据丢失。为了解决生产环境中平稳安全地移除节点的问题，Hadoop提供了一个流程：

### **设置排除** ###

在**namenode**中打开hdfs-site.xml，设置节点排除文件的位置（必须是绝对路径）

<property>

<name>dfs.hosts.exclude</name>

<value>/usr/share/hadoop/etc/hadoop/excludes</value>

</property>

在excludes文件中添加要排除的节点主机名，一行一个

### **更新节点配置** ###

在NameNode中执行下面命令，强制重新加载配置

*hdfs dfsadmin -refreshNodes*

在Hadoop站点上很快就能看到Decommission正在进行，此时NameNode会检查并将数据复制到其它节点上以恢复副本数（要移除的节点上的数据不会被删除，如果数据比较敏感，要手动删除它们）。通过命令也可以查看状态：

*hdfs dfsadmin -report*

*![format_png][]*

等状态变成Decommissioned后就可以关闭这个节点了，可在要移除的节点上运行相应的关闭命令，如：

*hadoop-daemon.sh stop datanode*

几分钟后，节点将从Decommissioned进入Dead状态。

![format_png 1][]

### **更新集群配置** ###

从NameNode的excludes文件及slaves文件、hosts文件中去掉已经移除的主机名

在所有DataNode上执行hadoop-pull.sh脚本，同步配置。

[format_png]: https://imgconvert.csdnimg.cn/aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcwOTIxMjMzODUxODE3?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cDovL2ltZy5ibG9nLmNzZG4ubmV0LzIwMTcwOTIxMjMzOTAyODE4?x-oss-process=image/format,png

发表评论取消回复

表情：

评论列表（有 0 条评论，28人围观）

还没有评论，来说两句吧...

相关阅读

相关 K8S集群删除和添加node节点（强行移除后添加）

可以使用kubeadm查看join新节点的命令，无需记忆 kubeadm创建的集群可以reset清空节点上的集群数据 ![在这里插入图片描述][7f5b93509

野性酷女/ 2024年02月19日 08:21/ 0 赞/ 32 阅读

相关 hadoop正确地添加和移除节点

添加节点克隆克隆一台全新的Linux（如有IP冲突，可右击VMware右下角网络图标断开连接）打开/etc/hostname修改主机名打开/etc/sy

素颜马尾好姑娘i/ 2023年06月29日 05:39/ 0 赞/ 29 阅读

相关 JS篇(006)-怎样添加、移除、移动、复制、创建和查找节点？

答案： 1）创建新节点 \ createDocumentFragment() //创建一个 DOM 片段 \ createElement() //创建一个具体的元素

阳光穿透心脏的1/2处/ 2023年01月01日 05:55/ 0 赞/ 162 阅读

相关 Hadoop2.7.0学习——移除节点

Hadoop2.7.0学习——移除节点添加黑名单文件在主节点的Hadoop安装目录/etc/hadoop目录下添加文件excludes 和slaves类似每

Dear 丶/ 2022年07月19日 02:38/ 0 赞/ 151 阅读

相关 DOM--如何添加、移除、移动、复制、创建和查找节点等。

创建新节点: createDocumentFragment() //创建一个DOM片段 createElement() //创建一个具体的

﹏ヽ暗。殇╰゛Y/ 2022年06月10日 00:16/ 0 赞/ 208 阅读

相关 js怎样添加、移除、移动、复制、创建和查找节点

（1）创建新节点 var para=document.createElement("p"); //创建新的 <p> 元素 var node=document.

超、凢脫俗/ 2022年05月23日 11:15/ 0 赞/ 219 阅读

相关（完全详解）JavaScript 添加、复制、移除、移动、创建和查找节点

（完全详解）JavaScript 添加、复制、移除、移动、创建和查找节点一、创建新节点 1、document.createDocumentFragment()

骑猪看日落/ 2022年05月14日 12:25/ 0 赞/ 597 阅读

相关 PagerAdapter 正确地移除 Item

引子很久没有写 UI 相关的程序，感觉都生疏了。最近用 `FragmentPagerAdapter`，配合 `TabLayout`，感觉还不错。不过很快就遇到了一个问题

浅浅的花香味﹌/ 2022年04月25日 07:38/ 0 赞/ 284 阅读

相关添加、移除、移动、复制、创建和查找节点

创建节点 createDocumentFragment() //创建一个DOM片段 createElement() //创建一个具体的元素 cr

冷不防/ 2022年02月27日 17:42/ 0 赞/ 222 阅读

相关 DOM操作——怎样添加、移除、移动、复制、创建和查找节点

1.创建元素节点 document.createElement() 方法用于创建元素，接受一个参数，即要创建元素的标签名，返回创建的元素节点 1 var div = d

骑猪看日落/ 2022年02月17日 00:47/ 0 赞/ 519 阅读