CDH5.6下线Hdfs的DataNode

灰太狼 2023-09-30 22:53 15阅读 0赞

#### CDH5.6下线Hdfs的DataNode ####

*  1、准备工作
 *   *  1.1 健康检查
     *  1.2 问题处理
     *  1.3 带宽调整
 *  2、确定节点
 *  3、维护模式
 *  4、退役节点
 *   *  4.1 解除授权
     *  4.2 完成解除
 *  5、删除节点
 *  6、注意事项

## 1、准备工作 ##

### 1.1 健康检查 ###

# 退役/下线过程中也需要检查
    hdfs fsck / -list-corruptfileblocks -openforwrite -files -blocks -locations

### 1.2 问题处理 ###

# 若hdfs出现块问题可进入如下操作处理
    hdfs fsck file_name -move
    # 或
    hdfs fsck file_name -delete

### 1.3 带宽调整 ###

# balance带宽，平衡带宽值应小于磁盘和网络上的带宽，
    # 以最大限度地减少对群集的影响，但需花费更长时间，如下值仅供参考
    dfs.datanode.balance.bandwidthPerSec = 500MB/S

![在这里插入图片描述][bf6c2b5e7fcb454f81b9167b57f02e02.png]

## 2、确定节点 ##

进入Hdfs的实例列表，选择需要下线的DataNode节点。  
![在这里插入图片描述][597d42b75ff841a090b6c56e9f24d83d.png]

## 3、维护模式 ##

CDH中Hdfs的DataNode进入维护模式的作用是为了在不影响集群可用性的情况下，对DataNode进行短期的操作，比如系统升级或重启。  
维护模式与退役模式不同，退役模式适用于长期的操作，比如替换硬件或移除节点。  
当管理员将DataNode置于维护模式时，DataNode会先进入ENTERING\_MAINTENANCE状态，然后在所有属于该DataNode的块都在其他地方有最小副本数的情况下，DataNode会进入IN\_MAINTENANCE状态。  
![在这里插入图片描述][da2ce79fb572432da4824163ef80d67f.png]

## 4、退役节点 ##

### 4.1 解除授权 ###

CDH中Hdfs对DataNode解除授权的作用是为了在不需要该DataNode的情况下，将其从集群中移除，比如替换硬件或减少节点数。  
解除授权的过程会将DataNode上的所有块复制到其他DataNode上，以保证数据的可靠性；且DataNode会在DataNode的UI上显示为**退役**状态。解除授权的DataNode可以通过重新授权的方式重新加入集群。  
**解除授权过程中千万不要中止, 否则很大概率会出现数据块丢失的问题！**  
![在这里插入图片描述][0ae9a7d386b9433481a4978f8b8ce763.png]

### 4.2 完成解除 ###

解除授权后就相当于已经把这个DataNode节点退役完成。  
![在这里插入图片描述][c37dab08da45468d8032bcee4f5b27ed.png]

## 5、删除节点 ##

删除下线的DataNode，至此就完成了Hdfs的DataNode下线。  
![在这里插入图片描述][a1970148236b48e180f4d611733ed9ac.png]

## 6、注意事项 ##

1.  CDH5.6比较特殊, 通过配置dfs\_host的方式无法生效；
2.  通过解除授权即可下线, 但是解除过程中切记不要中止, 否则大概率会发生数据块丢失的问题。

[bf6c2b5e7fcb454f81b9167b57f02e02.png]: https://img-blog.csdnimg.cn/bf6c2b5e7fcb454f81b9167b57f02e02.png
[597d42b75ff841a090b6c56e9f24d83d.png]: https://img-blog.csdnimg.cn/597d42b75ff841a090b6c56e9f24d83d.png
[da2ce79fb572432da4824163ef80d67f.png]: https://img-blog.csdnimg.cn/da2ce79fb572432da4824163ef80d67f.png
[0ae9a7d386b9433481a4978f8b8ce763.png]: https://img-blog.csdnimg.cn/0ae9a7d386b9433481a4978f8b8ce763.png
[c37dab08da45468d8032bcee4f5b27ed.png]: https://img-blog.csdnimg.cn/c37dab08da45468d8032bcee4f5b27ed.png
[a1970148236b48e180f4d611733ed9ac.png]: https://img-blog.csdnimg.cn/a1970148236b48e180f4d611733ed9ac.png

发表评论取消回复

表情：

评论列表（有 0 条评论，15人围观）

还没有评论，来说两句吧...

相关阅读

相关 CDH5.6下线Hdfs的DataNode

CDH5.6下线Hdfs的DataNode 1、准备工作 1.1 健康检查 1.2 问题处理 1.3 带宽调整 2、确

灰太狼/ 2023年09月30日 22:53/ 0 赞/ 16 阅读

相关 CDH主机下线

文章目录 1，配置hdfs, hbase: 提高下线速度 2，主机：进入维护模式 3, 主机解除授权: Decommission(退役) 解

亦凉/ 2022年12月23日 09:45/ 0 赞/ 413 阅读

相关 CDH Hadoop HDFS EOFException异常的问题

CDH hadoop HDFS系统中，看了下出现异常的DataNode节点日志 018-09-04 23:24:38,446 WARN org.apache.had

╰+哭是因爲堅強的太久メ/ 2022年12月02日 15:29/ 0 赞/ 231 阅读

相关 Hadoop-HDFS的DataNode介绍及原理

DataNode DataNode工作机制 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_te

╰半橙微兮°/ 2022年10月11日 14:57/ 0 赞/ 314 阅读

相关 HDFS中的DataNode工作机制

HDFS中的DataNode工作机制 1.图解 2.流程简介 1.图解 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5

清疚/ 2022年04月04日 15:26/ 0 赞/ 251 阅读

相关 CDH HDFS High Availability（CDH启用HDFS高可用）5.11.x

Table of Contents HDFS高可用性介绍背景 HA实现 Quorum-based存储自动故障转移关于HDFS HA的一般问题 “Operat

电玩女神/ 2022年03月16日 16:56/ 0 赞/ 345 阅读

相关 HDFS NameNode DataNode 多目录配置

现在目录结构 ![format_png][] NameNode NameNode 的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。配置 hdf

浅浅的花香味﹌/ 2022年02月24日 06:57/ 0 赞/ 243 阅读

相关 Hadoop名词详解：HDFS、NameNode和DataNode

概览 -------------------- 首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布

深藏阁楼爱情的钟/ 2022年02月04日 03:15/ 0 赞/ 332 阅读

相关 CDH中HDFS的部分Datanode下线

1. 准备工作及调整相关参数 1. 检查 HDFS 文件系统 hdfs fsck / -list-corruptfileblocks -o

太过爱你忘了你带给我的痛/ 2021年11月17日 23:30/ 0 赞/ 1025 阅读

相关八、HDFS中的DataNode

上篇博客介绍了Hadoop源码编译，本篇主要介绍HDFS中的DataNode，关注专栏[《破茧成蝶——大数据篇》][Link 1]查看相关系列的文章~ ----

╰半夏微凉°/ 2021年08月31日 15:02/ 0 赞/ 406 阅读