大数据-Hadoop-HDFS(四)：DataNode【数据完整性校验算法：crc、md5、sha1】【DataNode掉线时限：HDFS默认超过10分钟+30秒无心跳则死亡】

拼搏现实的明天。 2023-09-25 21:09 7阅读 0赞

### 6.1 DataNode工作机制 ###

![ab742f58038c4e79b0004aba7b874834.png][]

（1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

（2）DataNode启动后向NameNode注册，通过后，周期性（6小时）的向NameNode上报所有的块信息。

DN向NN汇报当前解读信息的时间间隔，默认6小时；

<property>
    	<name>dfs.blockreport.intervalMsec</name>
    	<value>21600000</value>
    	<description>Determines block reporting interval in milliseconds.</description>
    </property>

DN扫描自己节点块信息列表的时间，默认6小时。

<property>
    	<name>dfs.datanode.directoryscan.interval</name>
    	<value>21600</value>
    	<description>Interval in seconds for Datanode to scan data directories and reconcile the difference between blocks in memory and on the disk.
    	Support multiple time unit suffix(case insensitive), as described
    	in dfs.heartbeat.interval.
    	</description>
    </property>

（3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟+30秒没有收到某个DataNode的心跳，则认为该节点不可用。

（4）集群运行中可以安全加入和退出一些机器。

### 6.2 数据完整性 ###

思考：如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号（1）和绿灯信号（0），但是存储该数据的磁盘坏了，一直显示是绿灯，是否很危险？同理DataNode节点上的数据损坏了，却没有发现，是否也很危险，那么如何解决呢？

如下是DataNode节点保证数据完整性的方法。

（1）当DataNode读取Block的时候，它会计算CheckSum。

（2）如果计算后的CheckSum，与Block创建时值不一样，说明Block已经损坏。

（3）Client读取其他DataNode上的Block。

（4）常见的校验算法crc（32），md5（128），sha1（160）。

（5）DataNode在其文件创建后周期验证CheckSum。

![db14c7dcdea94eacac0fe0de63fa0eb5.png][]

### 6.3 掉线时限参数设置 ###

![2002671e503947b7be75d86eb72d9031.png][]

需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。

<property>
        <name>dfs.namenode.heartbeat.recheck-interval</name>
        <value>300000</value>
    </property>
    
    <property>
        <name>dfs.heartbeat.interval</name>
        <value>3</value>
    </property>

[ab742f58038c4e79b0004aba7b874834.png]: https://img-blog.csdnimg.cn/ab742f58038c4e79b0004aba7b874834.png
[db14c7dcdea94eacac0fe0de63fa0eb5.png]: https://img-blog.csdnimg.cn/db14c7dcdea94eacac0fe0de63fa0eb5.png
[2002671e503947b7be75d86eb72d9031.png]: https://img-blog.csdnimg.cn/2002671e503947b7be75d86eb72d9031.png

发表评论取消回复

表情：

评论列表（有 0 条评论，7人围观）

还没有评论，来说两句吧...

相关阅读

相关 CDH5.6下线Hdfs的DataNode

CDH5.6下线Hdfs的DataNode 1、准备工作 1.1 健康检查 1.2 问题处理 1.3 带宽调整 2、确

灰太狼/ 2023年09月30日 22:53/ 0 赞/ 31 阅读

相关大数据-Hadoop-HDFS(四)：DataNode【数据完整性校验算法：crc、md5、sha1】【DataNode掉线时限：HDFS默认超过10分钟+30秒无心跳则死亡】

6.1 DataNode工作机制 ![ab742f58038c4e79b0004aba7b874834.png][] （1）一个数据块在DataNode上以文件形式存储

拼搏现实的明天。/ 2023年09月25日 21:09/ 0 赞/ 8 阅读

相关 HDFS核心源码解析(三)——DataNode的心跳机制

DataNode在启动之后会周期性地向NameNode发送心跳，同时DataNode也会收到来自NameNode的响应，响应内部包含了NameNode下发给DataNode的一

比眉伴天荒/ 2022年09月09日 11:00/ 0 赞/ 455 阅读

相关大数据高频面试题-DataNode工作机制

DataNode工作机制: ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6L

骑猪看日落/ 2022年09月03日 00:06/ 0 赞/ 163 阅读

相关 DataNode节点上数据块的完整性——DataBlockScanner

由于每一个磁盘或者是网络上的I/O操作可能会对正在读写的数据处理不慎而出现错误，所以HDFS提供了下面两种数据检验方式，以此来保证数据的完整性，而且这两种检验方

迈不过友情╰/ 2022年06月16日 10:51/ 0 赞/ 399 阅读

相关 DataNode节点的数据块管理(1)——FSDir

在前面我说过，一个DataNode可以配置多个本地存储目录来存储与自己相关的数据，这些数据主要是NameNode分配给它并要它存储的文件数据块，另外，这些数据块是存储

- 日理万妓/ 2022年06月16日 09:47/ 0 赞/ 191 阅读

相关 HDFS中的DataNode工作机制

HDFS中的DataNode工作机制 1.图解 2.流程简介 1.图解 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5

清疚/ 2022年04月04日 15:26/ 0 赞/ 266 阅读

相关 HDFS NameNode DataNode 多目录配置

现在目录结构 ![format_png][] NameNode NameNode 的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。配置 hdf

浅浅的花香味﹌/ 2022年02月24日 06:57/ 0 赞/ 258 阅读

相关 Hadoop数据节点DataNode异常

1、问题背景：操作系统：CentOS7.6 64位 Hadoop版本：Hadoop2.8.5 JDK：1.8.0\_201 2、问题描述使用start-

た入场券/ 2022年01月16日 00:27/ 0 赞/ 414 阅读

相关八、HDFS中的DataNode

上篇博客介绍了Hadoop源码编译，本篇主要介绍HDFS中的DataNode，关注专栏[《破茧成蝶——大数据篇》][Link 1]查看相关系列的文章~ ----

╰半夏微凉°/ 2021年08月31日 15:02/ 0 赞/ 423 阅读