HDFS源码分析——DataNode启动流程

╰半夏微凉° 2024-04-03 10:16 74阅读 0赞

#### DataNode启动流程 ####

*  1. 概述
 *  2. 解析
 *   *  secureMain→createDataNode→instantiateDataNode→makeInstance→new DataNode→startDataNode→
     *  2.1 initDataXceiver
     *  2.2 startInfoServer
     *  2.3 initIpcServer
     *  2.4 refreshNameNodes→doRefreshNamenodes→createBPOS / startAll→connectToNNAndHadnshake→dpNamenode.registerDatanode
     *  2.5 refreshNameNodes→doRefreshNamenodes→startAll→offerService→dpNamenode.sendHeartBeat

## 1. 概述 ##

![在这里插入图片描述][9a36ad62a4044322a002593b4eec0a01.png]  
`DataNode`会每6个小时上报块信息（数据、数据长度、校验和、时间戳），每3秒（心跳）汇报当前DataNode是否活着；超时则视为挂掉；

![在这里插入图片描述][257cfae0f74342ecb046cfe27290355f.png]  
如图，NameNode启动时，主要的几个步骤分别是：

1.  `initDataXceiver` 初始化服务线程，用于接收Client和其他DataNode发来的数据
2.  `startInfoServer` 初始化HTTP服务
3.  `initIpcServer` 初始化RPC服务端
4.  refreshNameNodes→doRefreshNamenodes  
    →`createBPOS` 创建BPOS服务 ；  
    →startAll→`connectToNNAndHadnshake`→`registerDatanode` 注册DataNode（RPC调用）
5.  refreshNameNodes→doRefreshNamenodes  
    →startAll→offerService→`sendHeartBeat` 发送心跳（RPC调用）

## 2. 解析 ##

### secureMain→createDataNode→instantiateDataNode→makeInstance→new DataNode→startDataNode→ ###

从DataNode.java进入，先进入main方法的secureMain方法；  
![在这里插入图片描述][5c5d8b3f9bfa41a79fbbbf42d0561e3e.png]

进入secureMain中的createDataNode:  
![在这里插入图片描述][b941efa0a4fd43888a453e1fd97f5bd7.png]  
进入instantiateDataNode初始化方法  
![在这里插入图片描述][4bb2e89c50014e89a9607506879fa961.png]  
进入instantiateDataNode中的makeInstance创建实例对象  
![在这里插入图片描述][ada4cd4f3a7e4da49cf0eff58e66e2d7.png]  
new DataNode  
![在这里插入图片描述][e8a42336b9f34b1796ada460ce179c08.png]  
在 DataNode方法找到`startDataNode`  
![在这里插入图片描述][bd1faa605c5a4280bb635791da2a4ff5.png]

### 2.1 initDataXceiver ###

在`startDataNode`的1417行找到`initDataXceiver`服务线程（用来接收Client和其他DataNode发送过来的数据服务）  
![在这里插入图片描述][c56c39fc79bc4b62bf991923ac76d436.png]  
![在这里插入图片描述][cbd4206a941e48f492de8cbc4baff647.png]

### 2.2 startInfoServer ###

退回startDataNode，在1418行找到`startInfoServer` ，即要开启web服务  
![在这里插入图片描述][7488d48e09544a80800f3d6936f2b08b.png]  
进入`DatanodeHttpServer`  
![在这里插入图片描述][df303c798f01469ba73e2769aee392eb.png]  
进入DatanodeHttpServer，会由HttpServer2绑定serverlet；  
![在这里插入图片描述][ab17169cdd7b454792993fdaf5e3b9d2.png]

### 2.3 initIpcServer ###

退回startDataNodes，1430行找到`initIpcServer`  
![在这里插入图片描述][51e434ba1e7f4e6ba02b202ccbe811b5.png]  
启动RPC服务端  
![在这里插入图片描述][2277fe89f0234aa89652a1135930e710.png]

### 2.4 refreshNameNodes→doRefreshNamenodes→createBPOS / startAll→connectToNNAndHadnshake→dpNamenode.registerDatanode ###

退回startDataNode，1441行找到refreshNamenodes，即要向NameNode反向注册；  
![在这里插入图片描述][a7f81ad0bc2a4920aca4128b15ba19d2.png]  
进入refreshNamenodes，找到doRefreshNamenodes：  
进入doRefreshNamenodes，找到createBPOS，DataNode需要和NameNode心跳，则当有多个NameNode时（高可用），  
使用for循环，对每个NameNode都会创建一个BPOS服务，最后开启所有服务  
![在这里插入图片描述][3a490bd115414f349d3506b699b03484.png]  
在`startAll`中：  
![在这里插入图片描述][c0976dc3feb1465a9bd50f1e69295b8d.png]  
![在这里插入图片描述][32ed98ec9aa4472698e5e1035edbf055.png]  
开启`bpThread`线程的start()，对每个NameNode进行DataNode的注册；  
![在这里插入图片描述][159f802ccdea449e84f1c6ce0bd1ff5e.png]  
进入`bpThread`的run()方法，进入`connectToNNAndHandshake`  
![在这里插入图片描述][0014c4a5924841e8b78b8268c57df1ed.png]  
在connectToNNAndHandnshake()中会获取到NameNode的proxy代理对象dpNamenode，  
![在这里插入图片描述][91814a72642246e1b555737e25072e9c.png]  
底层通过`RPC.getProxy`获取**代理对象**令为`dpNamenode`并返回；  
![在这里插入图片描述][6ba9a64e1dd444e7895959a88581eb3f.png]  
回到connectToNNAndHadnshake，开始注册；  
![在这里插入图片描述][661b6eff90344cc9a35ee55ec5dd8de1.png]  
进入register，可见执行了代理对象`dpNamenode`的`registerDatanode`方法，代理对象会将参数传到NameNodRpcServer同样的方法种去执行（RPC调用），只是看上去是由DataNode执行！  
![在这里插入图片描述][f9e9b8b57e0b41f099f2c31dd4d78ab6.png]  
到此由DataNode向NameNode发送了注册信号，去**namenodeRpcServer**类中找到同样的`registerDatanode`方法，  
![在这里插入图片描述][c54adb86ffb043dc8a65f3cfdcdc9c17.png]  
![在这里插入图片描述][166cad2172be40fdae0adc30931da125.png]  
![在这里插入图片描述][5a8bb58ab4ac4f6b8deb274e6b248b3b.png]  
在1139行找到addDatanode，**进行注册：①添加datanode ②添加心跳信息**  
![在这里插入图片描述][f935bb9f098a4ac9aca5802166d19183.png]

### 2.5 refreshNameNodes→doRefreshNamenodes→startAll→offerService→dpNamenode.sendHeartBeat ###

（5）回到refreshNameNodes→doRefreshNamenodes→startAll→bpThread.run() 的847行找到`offerService`()  
![在这里插入图片描述][4911e3fdd64a4c45a95752af02c72aca.png]  
进入offerService()，646行找到`sendHeartBeat` 发送心跳；  
![在这里插入图片描述][6d91decd88fc4d008555d3ae468f942a.png]  
DataNode要向NameNode发送心跳属于跨进程通信，需要先拿到代理对象；  
进入`sendHeartBeat`方法，在516行找到：执行`bpNamenode.sendHeartbeat`方法；  
![在这里插入图片描述][5d6df01c288942949cd883792d776cdf.png]  
那么在**namenodeRpcServer**也有`sendHeartbeat`方法：  
![在这里插入图片描述][535d154c04ac4339a5175ff9204f4eef.png]  
进入handleHeartbeat，继续handleHeartbeat  
![在这里插入图片描述][c777d4b871bd4adb83e780fc7df3a629.png]  
找到 heartbeatManager更新心跳 updateHeartbeat：  
![在这里插入图片描述][32e8c053ffb444478adbb2712f0d990e.png]  
进入多个updateHeartbeat最后进入updateHeartbeatState：  
①更新上次发送心跳的时间，②将NameNode元数据存储状态发给DataNode；  
![在这里插入图片描述][7e27e446bad04b26924bda03a9bcdf37.png]  
回到namenodeRpcServer → sendHeartbeat → handleHeartbeat：  
最后由return new HeartbeatResponse把NameNode的命令（如创建文件、删除文件的指令等）返回给DataNode，完成NameNode和DataNode的心跳通信。  
![在这里插入图片描述][69ca71174c87447a989594889cb66cdf.png]  
到此，DataNode启动过程结束。

[9a36ad62a4044322a002593b4eec0a01.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/202df2e63dd84efab2731570a520481c.png
[257cfae0f74342ecb046cfe27290355f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/acbe6c328395497ab035e42d45d4b2c6.png
[5c5d8b3f9bfa41a79fbbbf42d0561e3e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/84a13b1689e04e038ea654e9ddd4faef.png
[b941efa0a4fd43888a453e1fd97f5bd7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/c220efb9ba6c4e8d9518659b6442dd34.png
[4bb2e89c50014e89a9607506879fa961.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/8eb566ceb29440cead006561f25766f7.png
[ada4cd4f3a7e4da49cf0eff58e66e2d7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/045c64568d924129992eb9d1aa96af34.png
[e8a42336b9f34b1796ada460ce179c08.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/1c15bafcaa134efe8b0f63dbe3266a22.png
[bd1faa605c5a4280bb635791da2a4ff5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/4b0890598b304f18803e470de925c50e.png
[c56c39fc79bc4b62bf991923ac76d436.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/2776d112c84749ec952a8eb8252bb2c4.png
[cbd4206a941e48f492de8cbc4baff647.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/6544d72dc4c34a2cb2a31bb504b47277.png
[7488d48e09544a80800f3d6936f2b08b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/c2a5a1fcf65a4c3196f7446927d90b51.png
[df303c798f01469ba73e2769aee392eb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/38ecf014c57e4efb83d87ac4c30def82.png
[ab17169cdd7b454792993fdaf5e3b9d2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/36397cb1b8fe49a7a6b6b69ead37823e.png
[51e434ba1e7f4e6ba02b202ccbe811b5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/f48b4445582c4453a28b66476a78ab7e.png
[2277fe89f0234aa89652a1135930e710.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/27515d13788c45a49f17c17b4e232b03.png
[a7f81ad0bc2a4920aca4128b15ba19d2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/0d00acd967204f1ba472eeb803d99309.png
[3a490bd115414f349d3506b699b03484.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/f01da5b5257b42aa9d222e9ba2ef4535.png
[c0976dc3feb1465a9bd50f1e69295b8d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/2930d44d90724c4998f8e9f9a691fae2.png
[32ed98ec9aa4472698e5e1035edbf055.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/44091dc452a240bc866cd8578dda6db0.png
[159f802ccdea449e84f1c6ce0bd1ff5e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/5a4d552ba59f4dff972b4e0bcf2c9abe.png
[0014c4a5924841e8b78b8268c57df1ed.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/cbcf8a099679407ead837aab9ad65842.png
[91814a72642246e1b555737e25072e9c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/bd903659bddc43e2b1e046521beee95b.png
[6ba9a64e1dd444e7895959a88581eb3f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/a6c504d7b6bf4c669b756fdbb9eef6cd.png
[661b6eff90344cc9a35ee55ec5dd8de1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/19db012697af424fad63fb3e3b007cd1.png
[f9e9b8b57e0b41f099f2c31dd4d78ab6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/b02f139d7fc348c4a5a88f4504400580.png
[c54adb86ffb043dc8a65f3cfdcdc9c17.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/72ee2537f1fc4ad2acff9edebbea0f81.png
[166cad2172be40fdae0adc30931da125.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/43ee58755ae04cd2aa2653ecd7b5f691.png
[5a8bb58ab4ac4f6b8deb274e6b248b3b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/e687ea60bd904464879036895c3f2a96.png
[f935bb9f098a4ac9aca5802166d19183.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/7d046455525f474dbbf2dad97f64dd6a.png
[4911e3fdd64a4c45a95752af02c72aca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/935398566e3e4324a8415edf95e12a86.png
[6d91decd88fc4d008555d3ae468f942a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/89cd2bf96c834ba597ff4508aa892d3e.png
[5d6df01c288942949cd883792d776cdf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/448d50e6729a437ba411eaba3222995c.png
[535d154c04ac4339a5175ff9204f4eef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/a6b6b76eb4e14f4ab7ec693206da4fed.png
[c777d4b871bd4adb83e780fc7df3a629.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/fb91107c122f43f2b4b968e815b4ee1d.png
[32e8c053ffb444478adbb2712f0d990e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/3ca47265fd9a473989806dfb56cbaa4a.png
[7e27e446bad04b26924bda03a9bcdf37.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/fa71f397ee004574bcb8415b7c893ca3.png
[69ca71174c87447a989594889cb66cdf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/c4fe4b7f41b44db5bb9fdb6492a8cc66.png

发表评论取消回复

表情：

评论列表（有 0 条评论，74人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS源码分析——DataNode启动流程

DataNode启动流程 1. 概述 2. 解析 secureMain→createDataNode→instantiateDataNode→ma

╰半夏微凉°/ 2024年04月03日 10:16/ 0 赞/ 75 阅读

相关 HDFS源码分析——NameNode启动流程

NameNode启动流程准备工作 1. 概述 2. 解析 main→createNameNode→new NameNode→initial

川长思鸟来/ 2024年04月03日 08:56/ 0 赞/ 78 阅读

相关【源码分析】Springboot启动流程源码分析

1.简介 springboot版本：2.7.2 SpringApplication类是用来执行Spring框架启动的引导类。有两种方式可以进行启动引导：

﹏ヽ暗。殇╰゛Y/ 2023年10月08日 17:18/ 0 赞/ 77 阅读

相关 Hadoop3.2.1 【 HDFS 】源码分析 : Datanode 启动

List of articles 一.前言二.DataNode的启动一.前言 DataNode类封装了整个数据节点逻辑的实现。它通过DataSt

灰太狼/ 2022年12月19日 03:49/ 0 赞/ 212 阅读

相关 Tomcat源码分析--启动流程

1.概述要想了解Tomcat的启动流程，必须先弄明白Tomcat有哪些组件。而对于Tomcat组件的层级结构了解，我们必须弄明白Tomcat一个最重要的配置文件“ser

雨点打透心脏的1/2处/ 2022年12月16日 06:00/ 0 赞/ 232 阅读

相关 Hadoop3.2.1 【 HDFS 】源码分析 : Datanode 概述

一.概述 Datanode以存储数据块（Block）的形式保存HDFS文件，同时Datanode还会响应HDFS客户端读、写数据块的请求。 Datanode会周期性

Love The Way You Lie/ 2022年11月21日 15:22/ 0 赞/ 250 阅读

相关 SpringMVC启动流程源码分析

Spring MVC向WEB容器中注入了两个对象： ContextLoaderListener：由AbstractContextLoaderInitializer注入。

た入场券/ 2022年11月15日 12:54/ 0 赞/ 279 阅读

相关 Flutter启动流程源码分析

前言相信大家在学习Flutter的开始阶段都看过Flutter的架构图，如下我们知道Flutter的应用层代码由Dart编写，Framework层提供了一系列Wid

一时失言乱红尘/ 2022年10月01日 09:43/ 0 赞/ 296 阅读

相关 HDFS核心源码解析(二)——DataNode的启动及注册流程

申明：本文基于hadoop2.7 进行源码研读一、DataNode类代码注释我简单对类注释做了一些翻译： / DataNode is a class (

骑猪看日落/ 2022年09月09日 04:57/ 0 赞/ 269 阅读

相关 SpringMVC 启动流程（源码分析）

SpringMVC 启动流程及相关源码分析熟悉`SpringMVC`的启动过程，有助于我们理解相关文件配置的原理，深入理解`SpringMVC`的设计原理和执行过程。

柔情只为你懂/ 2022年03月15日 20:56/ 0 赞/ 419 阅读