hdfs之namenode学习记录

小鱼儿 2022-06-10 04:12 192阅读 0赞

## 1、基本概念 ##

**namenode**:用于管理datanode和hdfs文件信息  
namenode有两个重要文件fsimage和editslog  
**namenode容错机制**  
1、备份那些组成文件系统元数据持久态的文件  
2、运行一个辅助namenode，但是不能被用作namenode。作用是定期通过编辑日志合并命名空间镜像

### 1.1 fsimage ###

fsimage：包含文件系统中的所有目录和文件inode的序列化信息。  
fsimage文件是文件系统元数据的一个永久检查点。并非每一个写操作都更新该文件，fsimage 文件巨大，执行写操作极为耗时，namenode发生故障时，载入fsimage到内存，重构新近的元数据（像namenode那样启动）  
**fsimage 并不记录块存储在哪个datanode，却而代之的是，namenode将映射关系放在内存中。当datanode加入集群时，namenode向datanode索取块列表以建立块的映射关系；namenode还将定期征询datanode以确保拥有最新的映射。**  
每个innode是一个文件或目录的元数据的内部描述方式。  
\*对于文件来说，包含的信息有“复本级别”，修改时间和访问时间，访问许可，块大小，组成一个文件的块等；  
对于目录来说，包含的信息有修改时间，访问许可，配额元数据等信息\*

### 1.2 editslog ###

记录操作的日志文件。  
editslog会记录大量操作记录，当namenode重启时再次载入editlog时需要很多时间。  
解决方案是：  
运行辅助namenode，为主namenode内存中的文件系统元数据创建检查点。  
创建检查点的步骤：  
1、辅助namenode请求主namenode停止使用edits log 文件，并重新创建新的一个editslog进行写入。  
2、辅助namenode从主namenode中获得fsimage和edits log  
3、辅助namenode将image文件载入内存，逐一执行editslog文件中的操作，创建新的fsimage文件。  
4、辅助namenode将新的fsimage文件发送回主namenode（使用http post）  
5、主namenode接收辅助namenode的fsimage文件替换掉旧的fsimage文件；同时1操作中的新edits log替换掉旧的editslog文件。同时更新fstimes文件记录检查点的执行时间。

结果主namenode中拥有最新的fsimage和更加小的editslog文件。  
![这里写图片描述][SouthEast]

[SouthEast]: /images/20220610/d616c8a7c5354958bb26a41ebc01371d.png