三十九、NameNode工作机制、镜像文件、编辑日志文件、namenode版本号

系统管理员 2022-05-09 13:12 347阅读 0赞

#                           NameNode工作机制、镜像文件、编辑日志文件 #

## 1、NameNode工作机制 ##

（1）、fsimage（镜像文件）文件其实是Hadoop文件系统元数据的一个永久性的检查点，其中包含Hadoop文件系统中的所有目录和文件idnode的序列化信息；  
（2）、edits（编辑日志）文件存放的是Hadoop文件系统的所有**更新操作**的路径，文件系统客户端执行的所有**写操作**首先会被记录到edits文件中。

![在这里插入图片描述][70]

**第一阶段：namenode启动**  
（1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。  
（2）客户端对**元数据进行增删改的请求**。  
（3）namenode记录操作日志，更新滚动日志（edits）。  
（4）namenode在内存中对数据进行增删改查（fsimage）。

**第二阶段：Secondary NameNode工作**  
（1）Secondary NameNode询问namenode是否需要checkpoint。**直接带回namenode是否检查结果。**  
（2）Secondary NameNode请求执行checkpoint（同步nameNode当前状态）。  
（3）namenode滚动正在写的edits日志生成新版的edits日志和新的edits.inprogress。（正在写的日志是edits.inprogress）。  
（4）将滚动生成编辑日志（新版edits）和镜像文件拷贝到Secondary NameNode。  
（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。  
（6）**生成新的镜像文件fsimage.chkpoint**  
（7）拷贝fsimage.chkpoint到namenode  
（8）namenode将fsimage.chkpoint重新命名成fsimage

**第三阶段：web端访问SecondaryNameNode**  
（1）启动集群  
（2）浏览器中输入：http://hadoop16:50090/status.html  
（3）查看SecondaryNameNode信息  
![在这里插入图片描述][70 1]

**第四阶段：chkpoint检查时间参数设置**  
（1）通常情况下，SecondaryNameNode每隔一小时执行一次。\[hdfs-default.xml\]

<property>
      <name>dfs.namenode.checkpoint.period</name>
      <value>3600</value>
    </property>

（2）一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。

<property>
      <name>dfs.namenode.checkpoint.txns</name>
      <value>1000000</value>
    <description>操作动作次数</description>
    </property>
    
    <property>
      <name>dfs.namenode.checkpoint.check.period</name>
      <value>60</value>
    <description> 1分钟检查一次操作次数</description>
    </property>

## 2、镜像文件和编辑日志文件 ##

#### 2.1、镜像文件和编辑日志文件简介 ####

namenode被格式化之后，将在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current目录中产生如下文件：

edits_0000000000000000000
    fsimage_0000000000000000000.md5
    seen_txid
    VERSION

（1）fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件idnode的序列化信息。

（2）Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到edits文件中。

（3）edits文件保存的是一个数字，就是最后一个edits\_的数字

（4）VERSION：nameNode版本信息记录文件

（5）每次Namenode启动的时候都会将fsimage文件读入内存，并**从00001开始到seen\_txid中记录的数字依次执行每个edits里面的更新操作**，保证内存中的元数据信息是最新的、同步的，可以看成Namenode启动的时候就将fsimage和edits文件进行了合并。

#### 2.2、oiv查看fsimage文件 ####

[admin@hadoop14 current]$ pwd
    /opt/module/hadoop-2.7.2/data/tmp/dfs/name/current
    [admin@hadoop14 current]$ hdfs oiv -p XML -i fsimage_0000000000000000147 -o /opt/module/hadoop-2.7.2/fsimage.xml
    
    -p  声明生成的文件类型               
    -o  声明生成的文件地址及名称         output
    -i   声明镜像文件的名称              input

#### 2.3、oev查看edits文件 ####

[admin@hadoop14 current]$ hdfs oev -p XML -i edits_0000000000000000001-0000000000000000002 -o /opt/module/hadoop-2.7.2/edits.xml
    [admin@hadoop14 hadoop-2.7.2]$ cat edits.xml
    <?xml version="1.0" encoding="UTF-8"?>
    <EDITS>
      <EDITS_VERSION>-63</EDITS_VERSION>
      <RECORD>
        <OPCODE>OP_START_LOG_SEGMENT</OPCODE>
        <DATA>
          <TXID>1</TXID>
        </DATA>
      </RECORD>
      <RECORD>
        <OPCODE>OP_END_LOG_SEGMENT</OPCODE>
        <DATA>
          <TXID>2</TXID>
        </DATA>
      </RECORD>
    </EDITS>

#### 2.4、VERSION文件（namenode版本号） ####

[admin@hadoop14 current]$ cat VERSION 
    #Tue Oct 16 09:17:37 CST 2018
    namespaceID=1559882375
    clusterID=CID-7190521e-8209-49d7-a523-7bfad04efa1c
    cTime=0
    storageType=NAME_NODE
    blockpoolID=BP-1669107349-192.168.1.114-1539453679564
    layoutVersion=-63
    [admin@hadoop14 cu

（1） namespaceID在HDFS上，会有多个Namenode，所以不同Namenode的namespaceID是不同的，分别管理一组blockpoolID。

（2）clusterID集群id，全局唯一

（3）cTime属性标记了namenode存储系统的创建时间，对于刚刚格式化的存储系统，这个属性为0；但是在文件系统升级之后，该值会更新到新的时间戳。

（4）storageType属性说明该存储目录包含的是namenode的数据结构。

（5）blockpoolID：一个block pool id标识一个block pool，并且是跨集群的全局唯一。当一个新的Namespace被创建的时候(format过程的一部分)会创建并持久化一个唯一ID。在创建过程构建全局唯一的BlockPoolID比人为的配置更可靠一些。NN将BlockPoolID持久化到磁盘中，在后续的启动过程中，会再次load并使用。

（6）layoutVersion是一个负整数。通常只有HDFS增加新特性时才会更新这个版本号。

#### 2.5、滚动编辑日志 ####

正常情况HDFS文件系统有更新操作时，就会滚动编辑日志。也可以用命令强制滚动编辑日志。  
（1）滚动编辑日志（前提必须启动集群）

[admin@hadoop14 current]$ hdfs dfsadmin -rollEdits

（2）镜像文件什么时候产生  
Namenode启动时加载镜像文件和编辑日志

![在这里插入图片描述][70 2]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center][]

[70]: /images/20220506/660e2945c1ee4ab094a609f750ef4a1f.png
[70 1]: /images/20220506/b82d0762300f40bb8058e3040342fb11.png
[70 2]: /images/20220506/069c32e031dc49e0b4e58bdad3791752.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center]: /images/20220506/adecde9bda5d4b20820754e4dc3e44dd.png