datanode工作机制详解

痛定思痛。 2022-06-05 01:30 241阅读 0赞

**DATANODE** **的工作机制**

*问题场景：*

*1* *、集群容量不够，怎么扩容？*

*2* *、如果有一些* *datanode* *宕机，该怎么办？*

*3* *、* *datanode* *明明已启动，但是集群中的可用* *datanode* *列表中就是没有，怎么办？*

**1** **概述**

**1、Datanode工作职责：**

**    存储管理用户的文件块数据**

**    定期向namenode汇报自身所持有的block信息（通过心跳信息上报）**

（这点很重要，因为，当集群中发生某些block副本失效时，集群如何恢复block初始副本数量的问题）

<table style="table-layout:fixed; width:1010px">    
 <tbody> 
  <tr> 
   <td style="border:1px solid rgb(211,211,211)"> 
    <div>
      &lt;property&gt; 
    </div> 
    <div>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&lt;name&gt;dfs.blockreport.intervalMsec&lt;/name&gt; &nbsp; &nbsp; &nbsp; 
    </div> 
    <div>
      &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&lt;value&gt;3600000&lt;/value&gt; &nbsp; &nbsp; &nbsp; &nbsp; 
    </div> 
    <div>
      &nbsp; &nbsp; &nbsp; &nbsp;&lt;description&gt;Determines block reporting interval in milliseconds.&lt;/description&gt;&lt;/property&gt; 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

2、Datanode掉线判断时限参数

**datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为：**

timeout  = 2 \* heartbeat.recheck.interval + 10 \* dfs.heartbeat.interval。

而默认的heartbeat.recheck.interval 大小为5分钟，dfs.heartbeat.interval默认为3秒。

需要注意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。所以，举个例子，如果heartbeat.recheck.interval设置为5000（毫秒），dfs.heartbeat.interval设置为3（秒，默认），则总的超时时间为40秒。

<table style="table-layout:fixed; width:970px">    
 <tbody> 
  <tr> 
   <td style="border:1px solid rgb(211,211,211)"> 
    <div>
      &lt;property&gt; 
    </div> 
    <div>
      &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;name&gt;heartbeat.recheck.interval&lt;/name&gt; &nbsp; &nbsp; &nbsp;&nbsp; 
    </div> 
    <div>
      &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&lt;value&gt;2000&lt;/value&gt;&lt;/property&gt; 
    </div> 
    <div>
      &lt;property&gt; &nbsp; &nbsp; &nbsp; 
    </div> 
    <div>
      &nbsp; &nbsp; &nbsp; &nbsp; &lt;name&gt;dfs.heartbeat.interval&lt;/name&gt; &nbsp; &nbsp; &nbsp;&nbsp; 
    </div> 
    <div>
      &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&lt;value&gt;1&lt;/value&gt;&lt;/property&gt; 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

**3.datanode工作机制**

**![Center][]**

![Image 1][]

## 数据完整性 ##

**1）当DataNode读取block的时候，它会计算checksum**

**2）如果计算后的checksum，与block创建时值不一样，说明block已经损坏。**

**3）client读取其他DataNode上的block.**

**4）datanode在其文件创建后周期验证checksum**

[Center]: /images/20220605/4aad244db9294d3e8c51aec43fcc21d8.png
[Image 1]: