八、HDFS中的DataNode

╰半夏微凉° 2021-08-31 15:02 406阅读 0赞

上篇博客介绍了Hadoop源码编译，本篇主要介绍HDFS中的DataNode，关注专栏[《破茧成蝶——大数据篇》][Link 1]查看相关系列的文章~

--------------------

**目录**

一、DataNode的工作机制

二、掉线时限参数

三、节点的添加与删除

3.1 节点添加

3.2 节点删除

3.2.1 白名单

3.2.2 黑名单

四、DataNode多目录配置

--------------------

# 一、DataNode的工作机制 #

（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件：一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。（2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。（3）心跳是每3秒一次，心跳返回结果是带有NameNode给该DataNode的命令。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。（4）集群运行中可以安全加入和退出一些机器。

DataNode上的数据也会出现损坏的情况，那么如何保证数据的完整性就变得尤为重要了。以下便是DataNode节点保证数据完整性的方法：（1）当DataNode读取Block的时候，它会计算CheckSum。（2）如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。（3）Client读取其他DataNode上的Block。（4）DataNode在其文件创建后周期验证CheckSum。

# 二、掉线时限参数 #

DataNode死亡或者因为网络故障会导致其无法与NameNode通信，NameNode不会立即判定DataNode死亡，会经过一段时间，这段时间称为超时时长。HDFS默认的超时时长为10min+30s。超时时长的计算公式为：timeout = 2 \* dfs.namenode.heartbeat.recheck-interval + 10 \* dfs.heartbeat.interval。默认的dfs.namenode.heartbeat.recheck-interval为5分钟，默认的dfs.heartbeat.interval为3秒。

需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。

<property>
        <name>dfs.namenode.heartbeat.recheck-interval</name>
        <value>300000</value>
    </property>
    <property>
        <name>dfs.heartbeat.interval</name>
        <value>3</value>
    </property>

# 三、节点的添加与删除 #

## 3.1 节点添加 ##

（1）首先准备一台新的机器。

（2）修改IP和主机名。

（3）如果是从之前的机器中克隆的新机器，需要删除原来HDFS文件系统中保留的文件。

![20200727085013202.png][]

（4）重新生效配置文件

source /etc/profile

（5）启动DataNode和NodeManager

sbin/hadoop-daemon.sh start datanode
    sbin/yarn-daemon.sh start nodemanager

此时，就相当于在集群中新加了一个节点，如果数据不均衡，可以用命令实现集群的再均衡：

start-balancer.sh

## 3.2 节点删除 ##

### 3.2.1 白名单 ###

添加到白名单中的主机节点，都允许访问NameNode，不在白名单中的主机节点，都会被退役掉。配置白名单的步骤如下：

（1）在NameNode的/opt/modules/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.white文件，并添加需要的主机名到文件中：

master
    slave01
    slave02

（2）在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性：

<property>
    	<name>dfs.hosts.white</name>
    	<value>/opt/modules/hadoop-2.7.2/etc/hadoop/dfs.hosts.white</value>
    </property>

（3）将配置文件分发到集群的其他机器

（4）刷新NameNode和ResourceManager

hdfs dfsadmin -refreshNodes
    yarn rmadmin -refreshNodes

如果数据不均衡，可以使用如下命令实现数据的再均衡：

start-balancer.sh

### 3.2.2 黑名单 ###

在黑名单上的机器，会被强制退役。配置黑名单的步骤如下：

（1）在NameNode的/opt/modules/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.black文件，并将需要退役的节点名称放到该文件中。

（2）在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.black属性。

<property>
    	<name>dfs.hosts.black</name>
        <value>/opt/modules/hadoop-2.7.2/etc/hadoop/dfs.hosts.black</value>
    </property>

（3）将配置文件分发到集群的其他机器

（4）刷新NameNode和ResourceManager

hdfs dfsadmin -refreshNodes
    yarn rmadmin -refreshNodes

如果数据不均衡，可以使用如下命令实现数据的再均衡：

start-balancer.sh

# 四、DataNode多目录配置 #

DataNode也可以配置成多个目录，每个目录存储的数据不一样，在hdfs-site.xml中添加如下内容：

<property>
    	<name>dfs.datanode.data.dir</name>
    	<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
    </property>

**注意：**不同目录之间使用逗号分隔。

至此，本文就讲解完了，你们在这个过程中遇到了什么问题，欢迎留言，让我看看你们遇到了什么问题~

[Link 1]: https://blog.csdn.net/gdkyxy2013/category_10006538.html
[20200727085013202.png]: /images/20210726/37c2fe8112c84c46adbf48ad7305f5ff.png

发表评论取消回复

表情：

评论列表（有 0 条评论，406人围观）

还没有评论，来说两句吧...

相关阅读

相关 NameNode和DataNode在HDFS中的作用是什么？

NameNode和DataNode在HDFS中的作用是什么？在HDFS（Hadoop分布式文件系统）中，NameNode和DataNode是两个关键组件，扮演着不同的角

一时失言乱红尘/ 2024年03月04日 07:11/ 0 赞/ 108 阅读

相关 CDH5.6下线Hdfs的DataNode

CDH5.6下线Hdfs的DataNode 1、准备工作 1.1 健康检查 1.2 问题处理 1.3 带宽调整 2、确

灰太狼/ 2023年09月30日 22:53/ 0 赞/ 16 阅读

相关 Hadoop3.x 之 HDFS DataNode (月薪过万第八章)

Hadoop3.x 之 HDFS DataNode 一、DataNode 工作机制 1、DataNode工作机制 2、数据完整性

我会带着你远行/ 2023年01月23日 07:57/ 0 赞/ 12 阅读

相关 Hadoop-HDFS的DataNode介绍及原理

DataNode DataNode工作机制 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_te

╰半橙微兮°/ 2022年10月11日 14:57/ 0 赞/ 314 阅读

相关《hadoop学习》关于hdfs中的namenode和datanode详解

转载:https://www.cnblogs.com/forget-me-not/p/5749256.html namenode: Namenode是中心服务器，

待我称王封你为后i/ 2022年05月20日 04:13/ 0 赞/ 246 阅读

相关 HDFS中的DataNode工作机制

HDFS中的DataNode工作机制 1.图解 2.流程简介 1.图解 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5

清疚/ 2022年04月04日 15:26/ 0 赞/ 251 阅读

相关 HDFS NameNode DataNode 多目录配置

现在目录结构 ![format_png][] NameNode NameNode 的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。配置 hdf

浅浅的花香味﹌/ 2022年02月24日 06:57/ 0 赞/ 243 阅读

相关 CDH中HDFS的部分Datanode下线

1. 准备工作及调整相关参数 1. 检查 HDFS 文件系统 hdfs fsck / -list-corruptfileblocks -o

太过爱你忘了你带给我的痛/ 2021年11月17日 23:30/ 0 赞/ 1027 阅读

相关八、HDFS中的DataNode

上篇博客介绍了Hadoop源码编译，本篇主要介绍HDFS中的DataNode，关注专栏[《破茧成蝶——大数据篇》][Link 1]查看相关系列的文章~ ----

╰半夏微凉°/ 2021年08月31日 15:02/ 0 赞/ 407 阅读

相关 Hadoop中启动hdfs时DataNode没有启动

是刚开始学习Hadoop，这个问题困扰了我一个多小时，为了以后少犯这种错误，也为了别人能少走歪路，我记录下来我的解决方法，可能不是最快捷的，但是这是我摸索出来的。 hd...

朱雀/ 2020年10月25日 08:10/ 0 赞/ 1017 阅读