HDFS体系架构

阳光穿透心脏的1/2处 2022-12-14 13:50 227阅读 0赞

**体系架构**

*  NameNode
    
     *  HDFS主节点、管理员
     *  接收客户端（命令行、Java程序）的请求：创建目录、上传、下载、删除数据
     *  管理和维护HDFS的日志和元信息
        
         *  日志文件（edits文件）
            
             *  二进制文件，记录客户端所有操作，同时体现HDFS的最新状态
             *  $HADOOP\_HOME/tmp/dfs/name/current
             *  日志查看器（edits viewer）：把edits转成文本（XML）格式
             *  hdfs oev -i edits\_inprogress\_0000000000000000107 -o ~/a.xml
         *  元信息（fsimage文件）
            
             *  记录数据块的位置信息、数据块的冗余信息，不体现HDFS的最新状态
             *  $HADOOP\_HOME/tmp/dfs/name/current
             *  image viewer，把fsimage文件转为文本或者xml
 *  DataNode
    
     *  数据节点
     *  按数据块保存数据库（1.x：64M，2.x：128M）
     *  /root/training/hadoop-2.7.3/tmp/dfs/data/current/BP-419062579-192.168.157.111-1535553141546/current/finalized/subdir0/subdir0
     *  数据块冗余度设置原则：一般跟数据节点的个数一样，但是最大不要超过3
     *  Hadoop 3.x以后，HDFS纠删码技术，大大的节约存储的空间（节约一半 ）
 *  SecondaryNameNode
    
     *  第二名称节点
     *  进行日志信息的合并
     *  由于edits文件记录了最新的状态信息，并且随着操作越来越多，edits就会越大
     *  把edits中的最新信息写到fsimage中
     *  edits文件就可以清空
     *  通常和NameNode部署在一台机器上，提高下载速度
     *  什么时候合并？HDFS发出检查点时（checkpoint）
        
         *  HDFS每隔60分钟产生一个检查点（fs.check.period）
         *  edits文件达到64M（fs.check.size）

![9efc54feaa3fd8eeb174984130ba66a4.png][]

**数据传输**

*  数据上传
    
     *  请求上传数据 Distributed FileSystem.java
     *  创建 DFSClient.java
     *  建立RPC通信
     *  拿到NameNode代理对象NameNodeProxies（HA）
     *  请求创建文件元信息
     *  创建文件元信息
     *  将元信息返回给 Distributed FileSystem
     *  创建输出流 FSDataOutputStream
     *  上传数据到DataNode
     *  根据元信息，水平复制
 *  数据下载
    
     *  请求
     *  创建
     *  建立RPC通信
     *  请求得到元信息
     *  查找元信息（先查缓存，再查fsimage）
     *  返回元信息
     *  创建输入流
     *  下载数据块
     *  把下载的数据块合成一个文件

![f52c60fd919e48c7554028a85a05be2a.png][]

![519769d9df1b8922c1f304396b68ca0e.png][]

**高级特性**

*  安全模式
    
     *  只读，正常运行时off
     *  HDFS的自我保护机制，检查数据块副本率
     *  如果冗余度小于设定的副本率（DataNode坏掉），就水平复制
     *  在hdfs-default.xml中设定副本率
 *  快照
    
     *  全部文件系统或某目录在某时刻的镜像，默认关闭
     *  启用目录的快照功能
     *  创建快照 -createSnapshot 目录 快照名称
     *  用于以下场景
        
         *  防止用户误操作/备份/测试/灾难恢复
     *  一般不建议使用，因为本来就有冗余，再生成新的冗余，太浪费空间
 *  配额
    
     *  HDFS为每个目录分配的大小空间
     *  名称配额
        
         *  设置该目录中最多存放的文件（目录）个数
     *  空间配额
        
         *  设置该目录中最大能够存放的文件大小
 *  回收站
    
     *  默认禁用
     *  放入/trash
     *  回收站中文件可快速恢复
     *  可设置一个时间，超过后文件自动删除
 *  用户权限管理
    
     *  功能较弱
     *  建议使用 Hadoop Kerberos

**启动过程**

*  网页->Startup Progress
 *  Loading fsimage
 *  Loading edits
 *  Saving checkpoint
 *  Safe mode

**底层原理**

*  RPC（remote procedure call）
    
     *  远程过程调用（协议）
        
         *  在客户端调用服务器端的程序
         *  一个框架，调用者和被调用者运行在其中完成通信
         *  调用远程代码，需要实现调用者和被调用者间的连接与通信
         *  基于Client/Server进程间相互通信的一种同步通信形式
         *  Client是请求服务的调用者，Server是执行Client的请求而被调用的程序
     *  Hadoop用Java实现RPC
        
         *  客户端
         *  服务器端

MyRPCClient.java