HDFS源码分析——NameNode启动流程

川长思鸟来 2024-04-03 08:56 78阅读 0赞

#### NameNode启动流程 ####

*  准备工作
 *  1. 概述
 *  2. 解析
 *   *  main→createNameNode→new NameNode→initialize→
     *   *  （1）startHttpServer
         *  （2）loadNamesystem
         *  （3）createRpcServer
         *  （4）startCommonServices→NameNodeResourceChecker、checkAvailableResources
         *  （5）startCommonServices→blockManager.active()→heartbeatManager.active()
         *  （6）startCommonServices→blockManager.active()→bmSafeMode.active(blockTotal)

## 准备工作 ##

首先在Maven中导入Hadoop相关依赖，这里用的是hadoop 3.1.3版本：

<?xml version="1.0" encoding="UTF-8"?>
    <project xmlns="http://maven.apache.org/POM/4.0.0"
             xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
             xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
        <modelVersion>4.0.0</modelVersion>
        
        <groupId>com.abc</groupId>
        <artifactId>Hdfs</artifactId>
        <version>1.0-SNAPSHOT</version>
    
        <properties>
            <maven.compiler.source>17</maven.compiler.source>
            <maven.compiler.target>17</maven.compiler.target>
        </properties>
    
        <dependencies>
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-client</artifactId>
                <version>3.1.3</version>
            </dependency>
    
    
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-hdfs</artifactId>
                <version>3.1.3</version>
            </dependency>
    
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-hdfs-client</artifactId>
                <version>3.1.3</version>
            </dependency>
    
            <dependency>
                <groupId>junit</groupId>
                <artifactId>junit</artifactId>
                <version>4.12</version>
            </dependency>
            <dependency>
                <groupId>org.slf4j</groupId>
                <artifactId>slf4j-log4j12</artifactId>
                <version>1.7.30</version>
            </dependency>
            
        </dependencies>
    </project>

## 1. 概述 ##

![在这里插入图片描述][0c301f0728344ead9dcacd85a6167cef.png]  
如图，NameNode启动时，主要的几个步骤分别是：

1.  `startHttpServer` 启动9870端口服务；
2.  `loadNamesystem` 从磁盘加载镜像文件fsimage和edits编辑日志；
3.  `createRpcServer` 创建RPC服务端
4.  `checkAvailableResources` 检查磁盘空间是否充足
5.  `datanodeManager.activate` 心跳超时判断
6.  `bmSafeMode.avtive` 安全模式

## 2. 解析 ##

### main→createNameNode→new NameNode→initialize→ ###

NameNode主要的几个步骤，都是在`initialize` 方法中完成，所以先找到initialize：

先找到NameNode类的`main()`方法，以及`createNameNode`：  
![在这里插入图片描述][d45cf28789484c75bd73e53a44c97315.png]  
createNameNode拉到最下面，有new NameNode，进入`NameNode`：  
![在这里插入图片描述][1e4cc5de95dd477590dcccd34d56c6be.png]  
进入NameNode，有`initialize()` 方法：  
![在这里插入图片描述][f6ff5fff9729443eb03e3f19c1b1c503.png]

#### （1）startHttpServer ####

进入`initialize`方法：  
![在这里插入图片描述][92d01b3dc5e849fd8033314a389a0cc5.png]  
调用`start()` 开启httpServer：  
![在这里插入图片描述][f7ff560fcb0949eb8f5aab2384867007.png]

#### （2）loadNamesystem ####

![在这里插入图片描述][6058411c98f249518e8aa1e609e329b2.png]  
进入initialize中的`loadNamesystem`方法，再进入`loadFromDisk`  
![在这里插入图片描述][3beb463576d9473987a33e5d98336ed3.png]  
从磁盘加载镜像文件`FSImage`和编辑日志`Edits`：  
![在这里插入图片描述][81d8dbff01a24fb091aa58a0291f40be.png]

#### （3）createRpcServer ####

进入initialize中的`createRpcServer`  
![在这里插入图片描述][2703029d2a054faea4c686fbb4e519c5.png]  
开启RPC服务端  
![在这里插入图片描述][abcda49ecde34ed6bd0412fd6ce9289a.png]

#### （4）startCommonServices→NameNodeResourceChecker、checkAvailableResources ####

进入initialize中的`startCommonServices`![96c200a0e5584646aa28041ebe42b333.png][]  
![在这里插入图片描述][505767c9da9f40b4b4212dae78c7be5e.png]  
调用重载的`startCommonServices`：  
![在这里插入图片描述][d71e1be5a9aa4a01b985f71115ff2061.png]  
在`NameNodeResourceChecker`中检查镜像文件和编辑日志的路径是否能存储100mb内容，即1024x1024x100=104857600；  
如果不够会警告；  
![在这里插入图片描述][19ffe2e9ca4e46d68115fd983bcc4699.png]  
在`checkAvailableResources`中判断磁盘是否够用，不够则false；  
![在这里插入图片描述][12aa1b6f3d2d4acfb5c119dd7900ec2e.png]  
![在这里插入图片描述][19d61a9cab5345808a82d8668186614a.png]  
![在这里插入图片描述][426d2697ba1b46f6a4d2ca309e1405a5.png]  
isResourceAvailable()方法来自一个接口，  
![在这里插入图片描述][a29af65a7b3743768c189a5205a9a1e9.png]  
退到areResourceAvailable中，Ctrl+Alt+B 找到CheckableNameNodeResource() 接口的实现类：  
![在这里插入图片描述][54cbc57c02d84ab49af34d6eb339a0b5.png]  
判断磁盘空间是否够用，`duReserved`就是defaultValue即100mb，不足则会false：  
![在这里插入图片描述][a872a8c16ca24818a796d4837aa57e1a.png]

#### （5）startCommonServices→blockManager.active()→heartbeatManager.active() ####

退回startCommonServices，  
![在这里插入图片描述][bd158ab381c3425581bd7018ea04530e.png]  
进入`blockManager.active()`：  
![在这里插入图片描述][b6732b4716e040d2be8fdecd0b41e1d4.png]  
进入`heartbeatManager.activate`：  
![在这里插入图片描述][fd75a61695504cdb810ecea59481d6b9.png]  
进入heartbeatManager是一个heartbeatThread线程：  
![在这里插入图片描述][62426b35c7a540c992ced3c6f58b63e4.png]  
调用heartbeatThread线程的start()方法，则找run()方法！  
![在这里插入图片描述][71f8d559672b4018923fd1f3c9c3771f.png]  
进入heartbeatCheck()：  
判断是否是10分钟30秒  
![在这里插入图片描述][d9875b7deb444185bbd2d4ddaa42bccc.png]  
![在这里插入图片描述][adb029800c2a4581baa02b98f2a08ca5.png]  
判断时间： 2*5+ 1000*10\*3s，超过即视为DataNode挂掉：  
![在这里插入图片描述][7148df5c649c488cb9f79ca4361870f3.png]

#### （6）startCommonServices→blockManager.active()→bmSafeMode.active(blockTotal) ####

返回`blockManager.active()`  
![在这里插入图片描述][eed809159ed6410b9c3ae802cc31b551.png]  
进入`bmSafeMode.active(blockTotal)`：  
如果areThreasholdsMet()为true，则离开安全模式，否则进入安全模式；  
![在这里插入图片描述][9616cc5daa3b422db8486e80ec22bfda.png]  
①`setBlockTotal`设置块的阀值：  
threshold也是阀值，是0.999，即总的块假设为1000个，则只要有999个都启动即允许有一个不启动，则可以正常  
blockthrehold = 总块数\*0.999  
![在这里插入图片描述][80ed41273fca4a138e4f8ea03f828b6c.png]  
②`areThreasholdsMet()`  
判断正常启动的块是否大于了阀值blockThrehold，如果块大于了blockThrehold阀值，则返回true；  
![在这里插入图片描述][4d259f126c154f1287ff44c9c361b9b7.png]

到此，NameNode启动过程中的六大步骤完毕。

[0c301f0728344ead9dcacd85a6167cef.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/1731d100029b411198638271ba972dc7.png
[d45cf28789484c75bd73e53a44c97315.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/f10ecd6317b945f6bbabc8b8caae83e5.png
[1e4cc5de95dd477590dcccd34d56c6be.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/29e89930baf14251a73cdb3f1eba29a9.png
[f6ff5fff9729443eb03e3f19c1b1c503.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/d22b96bd592c4b65a7d16917d3b7b2cc.png
[92d01b3dc5e849fd8033314a389a0cc5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/a48b66c8739643e2898732fce1dbe547.png
[f7ff560fcb0949eb8f5aab2384867007.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/d11f3522095a47d39b513fb89e4fa540.png
[6058411c98f249518e8aa1e609e329b2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/7993eb42afe345c3b8f9d716b9f8737a.png
[3beb463576d9473987a33e5d98336ed3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/d73691a81cfc4a0dae2a4546a7cbdb19.png
[81d8dbff01a24fb091aa58a0291f40be.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/838ccdd42dfa4a57a06cf2db07b6b3b5.png
[2703029d2a054faea4c686fbb4e519c5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/dfef9f6456a747929b090276b52a0992.png
[abcda49ecde34ed6bd0412fd6ce9289a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/ddc5f5dca41f454eac99602db0328087.png
[96c200a0e5584646aa28041ebe42b333.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/b69fcbc3bd2846ea87e84b794e15f89b.png
[505767c9da9f40b4b4212dae78c7be5e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/ffd6f73634604ea69cec5ccd7cdfe2a4.png
[d71e1be5a9aa4a01b985f71115ff2061.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/a977d3bddf174297a02c8b6fd4f663f8.png
[19ffe2e9ca4e46d68115fd983bcc4699.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/ad1bb6255fa14baeac56508c12820dc2.png
[12aa1b6f3d2d4acfb5c119dd7900ec2e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/33b0213dfc4d42cda5ce5b60c9b8e44c.png
[19d61a9cab5345808a82d8668186614a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/52230c5ced6e4b8682260a02839bc421.png
[426d2697ba1b46f6a4d2ca309e1405a5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/2ac2bf30088947b3b606602485139335.png
[a29af65a7b3743768c189a5205a9a1e9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/1961dcde17684596a3f7c3241ccbf321.png
[54cbc57c02d84ab49af34d6eb339a0b5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/a65eb7e161484fe1908dfe551bd9f861.png
[a872a8c16ca24818a796d4837aa57e1a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/025fcc89c13948a4b8bc9bdf87068749.png
[bd158ab381c3425581bd7018ea04530e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/c1e3c27551ae499591592587b17eaf5f.png
[b6732b4716e040d2be8fdecd0b41e1d4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/a3ce69f32a9b4ffb828c79642c79941e.png
[fd75a61695504cdb810ecea59481d6b9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/a53cbd397f234990a63b08f60050bb00.png
[62426b35c7a540c992ced3c6f58b63e4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/7511340bd5084b84bead53ec4c2d5005.png
[71f8d559672b4018923fd1f3c9c3771f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/6ac02e486a4d486b80194bc3d3492839.png
[d9875b7deb444185bbd2d4ddaa42bccc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/bd408ba0cadc48acb529cfcf09640255.png
[adb029800c2a4581baa02b98f2a08ca5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/1c2051b4dbc7484eae0a106f3aa44b05.png
[7148df5c649c488cb9f79ca4361870f3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/d00826772a28499cadef4d294fc25cdb.png
[eed809159ed6410b9c3ae802cc31b551.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/05706b4d4fbd46f2ac8024fb17ab3263.png
[9616cc5daa3b422db8486e80ec22bfda.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/11cdd6b1ee194da6bbaa3f3bc9a7c957.png
[80ed41273fca4a138e4f8ea03f828b6c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/954b2c3cb31b44cb939a65e90048f9f2.png
[4d259f126c154f1287ff44c9c361b9b7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/eb8808eee35f43fe9e30d5062633c33f.png