HDFS学习记录（数据单位的比较、读写流程）

Dear 丶 2024-04-19 11:32 45阅读 0赞

##### 1. HDFS的整体架构 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0NTQ1Mzg_size_16_color_FFFFFF_t_70]

*  模糊词汇解释：

1.  `Client：` 凡是通过API或者HDFS命令访问HDFS的一端，都可以看做是客户。
2.  `Rack：` 机架，副本的放置策略与机架有关。
3.  `Block Size：` Hadoop2.7.3开始默认为**128 M**，Hadoop2.7.3以下默认为**64 M**。

##### 2. block、packet、chunk的关系 #####

*  block、packet、chunk都是HDFS中涉及到的数据存储单位。
 *  Hadoop中我们自己可以配置的xml文件：`core-site.xml`、`hdfs-site.xml`等，当不知道如何进行修改时，可以查看`core-default.xml`、`hdfs-site.xml`等文件。

###### ① block ######

*  block是HDFS中文件分块的单位，一个文件没有64 M也会占据一个block，size是文件的实际大小，blocksize是块的大小。
 *  可以在`hdfs-site.xml`文件中，通过`dfs.block.size`配置项修改默认的块大小。
 *  block与磁盘寻址时间、传输时间的关系：

1.  block越大，磁盘寻址时间越短，数据传输时间越长。
2.  block越小，磁盘寻址时间越长，数据传输时间越短。

*  **block设置过小：**

1.  **NameNode内存过载：** 如果block设置过小，`NameNode`内存中存储大量小文件的元数据信息，会导致`NameNode`内存过载。
2.  **寻址时间过长：** 如果block设置过小，磁盘寻址时间增大，使得程序一直在查找block的开始位置。

*  **block设置过大：**

1.  **Map任务时间过长：** `MapReduce`中Map通常一次只处理一个数据块中的任务，如果block设置过大，将会导致Map任务的处理时间过长。
2.  **数据传输时间过长：** 如果block设置过大，数据传输时间远超数据寻址时间，影响数据的处理速度。

###### ② packet ######

*  packet是第二大的单位，它是DFSClient向DataNode，或DataNode的Pipeline之间**数据传输**的基本单位，默认大小为**64 kb**。
 *  可以在`hdfs-site.xml`文件中，通过`dfs.write.packet.size`配置项修改默认的packet大小。

###### ③ chunk ######

*  chunk是最小的单位，它`DFSClient`向`DataNode`，或`DataNode`的`Pipeline`之间进行**数据校验**的基本单位，默认为**512 byte**。
 *  可以在`core-site.xml`文件中，通过`io.bytes.per.checksum` 配置项修改默认的chunk大小。
 *  chunk作为数据校验的基本单位，每个chunk需要携带**4 byte**的**校验信息**。因此，实际写入到packet时为**516 byte**，真实数据与校验数据的比值为`128 : 1`。
 *  **举例：** 一个128M的文件，可以划分为256个chunk，共需要携带`256 * 4 byte = 1 M`的校验信息。
 *  **三者的总结：**

1.  chunk是`DFSClient`向`DataNode`或`DataNode`的`Pipeline`之间进行**数据校验**的基本单位，每个chunk需要携带4 byte的校验信息。
2.  packet是`DFSClient`向`DataNode`或`DataNode`的`Pipeline`之间进行**数据传输**的基本单位，chunk向packet中写入时的实际大小为516 byte。
3.  block是文件分块的单位，无数个packet构成一个block。小文件不足一个block大小，但会占据一个元数据的slot，导致`NameNode`内存过载。

###### ④ 写过程中的三层buffer ######

*  写过程会涉及到chunk、packet、`DataQueue`三个粒度的三层缓存：

1.  数据流入`DFSOutputStream`时，其中会有一个chunk大小的buffer。当数据写满这个buffer，或遇到强制的`flush()`操作时，会计算校验和（checksum）。
2.  将chunk和校验和一起写入packet中，当多个chunk将packet填满后，这个packet会进入`DataQueue`队列。
3.  `DataQueue`中的packet被线程取出并发送到`DataNode`中，**未确认写入成功**的packet将会移动到AckQueue中等待确认。
4.  如果接收到`DataNode`的ack（写入成功），则由`ResponseProcessor`负责将packet从`AckQueue`中删除；否则，将会移动到`DataQueue`中，重新写入。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0NTQ1Mzg_size_16_color_FFFFFF_t_70 1]  
    三层buffer

##### 3. 基础知识 #####

**NameNode**

*  管理元数据信息（Metadata），注意，只存储元数据信息。
 *  namenode对于元数据信息的管理，放在内存一份，供访问查询，也会通过fsimage和edits文件，将元数据信息持久化到磁盘上。
 *  Hadoop1.0版本利用了SecondaryNamenode做fsimage和edits文件的合并，但是这种机制达不到热备的效果。Hadoop1.0的namenode存在单点故障问题。
 *  元数据大致分成两个层次：**Namespace管理层**，负责管理文件系统中的树状目录结构以及文件与数据块的映射关系。**块管理层**，负责管理文件系统中文件的物理块与实际存储位置的映射关系BlocksMap。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0NTQ1Mzg_size_16_color_FFFFFF_t_70 2]

**datanode**

*  数据节点，用于存储文件块。
 *  为了防止datanode挂掉造成的数据丢失，对于文件块要有备份，一个文件块默认三个副本。

**rack**

*  机架，HDFS使用机架感知（rack awareness）策略来放置副本。
 *  第一个副本：如果writer就是一个dataNode，则直接放在本地；否则，随机选择一个dataNode进行存储。
 *  第二个副本：远程机架上的某个dataNode
 *  第三个副本：与第二个副本相同的远程机架上的另一个dataNode。
 *  这样的放置策略，减少了机架间的写流量，提高了写性能。
 *  超过3个副本：其余副本的放置要求满足以下条件：
 *  一个dataNode只允许拥有block的一个副本
 *  Hadoop集群的最大副本数为dataNode的总数

参考链接：[HDFS之Replica Placement Policy][HDFS_Replica Placement Policy]

**client**

*  客户端，凡是通过API或指令操作的一端都可以看做是客户端

**blockSize**

*  数据块，一般有默认大小，可以通过hdfs-site.xml文件中的`dfs.blocksize`进行配置。
 *  Hadoop1.0：64MB。Hadoop2.0 ：128MB。
 *  块大小的问题：从大数据处理角度来看，块越大越好。所以从技术的发展，以后的块会越来越大，因为块大，会减少磁盘寻址次数，从而减少寻址时间.

##### 4. HDFS的读写流程 #####

###### ① HDFS的读流程 ######

1.  client调用DistributedFileSystem.open( ) 方法，获得要读取数据块的输入流对象（FSDataInputStream）。
2.  open()方法运行时，DistributedFileSystem使用 RPC 方式调用NameNode，从而获得block所有副本的dataNode地址。open()方法运行结束后，返回FSDataInputStream对象，该对象封装了输入流 DFSInputStream。
3.  调用输入流 FSDataInputStream.read( ) 方法，从而让DFSInputStream按照就近原则自动连接到适合的dataNode进行数据读取（网络拓扑的远近）。
4.  循环调用 read( ) 方法，从而将数据从 dataNode 传输到客户端。
5.  当前块读取完毕，关闭与当前dataNode的连接。建立与下一个块的dataNode的连接，从而继续读取下一个块。

> 这个过程对客户端来说是透明的，在客户端那边看来，就像是只读取了一个连续不断的流。

1.  客户端读取完所有的块，调用 FSDataInputStream.close( )关闭输入流，从而结束此次文件读取流程。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0NTQ1Mzg_size_16_color_FFFFFF_t_70 3]

*  读取错误：
 *  在读取过程中出错，DFSInputStream会尝试读取临近DataNode中的block。同时也会记录下出问题的dataNode，在之后的数据请求过程中不再与之通信。
 *  每次读完一个block，DFSInputStream都会检验数据的完整性。如果有损坏，客户端会通知NameNode，并继续从其它DataNode读取副本。

###### ② HDFS的写流程 ######

1.  client调用分布式文件系统 `DistributedFileSystem.create( )`方法，向NameNode发送创建文件请求。
2.  create()方法运行时，`DistributedFileSystem`向NameNode发送RPC请求，有NameNode完成文件创建前的检查工作。如果通过检查，首先在EditLog中记录写操作，然后返回输出流对象`FSDataOutputStream`（内部封装了`DFSOutputDtream`）。
3.  客户端调用 `FSOutputStream.write()` 函数，向对应的文件写入数据。
4.  写入文件时，`DFSOutputDtream`会将文件分成一个个的packet，并将packet写入DataQueue中。`DataStreamer` 负责管理DataQueue，它会要求 NameNode 分配适合的新块用于存储副本。DataNode之间形成pipeline，packet通过pipeline进行传输。

*  `DataStreamer` 将packet通过pipeline流式传输到DataNode1
 *  DataNode1将收到的packet传送给DataNode2
 *  DataNode2将收到的packet传送给DataNode3，从而形成packet的三副本存储。

1.  为了保证副本的一致性，接收到packet的DataNode完成需要向发送者返回ack packet。收到足够的应答后，packet将会从内部队列中删除。
2.  完成文件写入后，客户端调用`FSOutputStream.close()` 方法，关闭文件输入流。
3.  调用`DistributedFileSystem.complete()`方法，通知NameNode文件写入成功。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0NTQ1Mzg_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/80e67a06d6884471b6fbc3e94b697445.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0NTQ1Mzg_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/c4f2766582b74a5ab836c128d5883da0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0NTQ1Mzg_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/54bf26532dfd4c0abc36484f68a79b39.png
[HDFS_Replica Placement Policy]: https://blog.csdn.net/qq_45400755/article/details/99617678
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ0NTQ1Mzg_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/ff9901549e22467791ee31df2969253e.png