Hadoop系列HDFS详解

港控/mmm° 2021-09-21 08:10 426阅读 0赞

**简介**

**HDFS**（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google File System）Google 文件系统（[中文][Link 1]，[英文][Link 2]）。

**HDFS有很多特点**：

**① **保存多个副本，且提供容错机制，副本丢失或宕机自动恢复。默认存3份。

**② **运行在廉价的机器上。

**③ **适合大数据的处理。多大？多小？HDFS默认会将文件分割成block，64M为1个block。然后将block按键值对存储在HDFS上，并将键值对的映射存到内存中。如果小文件太多，那内存的负担会很重。

![format_png][]

如上图所示，HDFS也是按照Master和Slave的结构。分NameNode、SecondaryNameNode、DataNode这几个角色。

***NameNode***：是Master节点，是大领导。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间；

***SecondaryNameNode***：是一个小弟，分担大哥namenode的工作量；是NameNode的冷备份；合并fsimage和fsedits然后再发给namenode。

***DataNode**：Slave*节点，奴隶，干活的。负责存储client发来的数据块block；执行数据块的读写操作。

***热备份***：b是a的热备份，如果a坏掉。那么b马上运行代替a的工作。

***冷备份***：b是a的冷备份，如果a坏掉。那么b不能马上代替a工作。但是b上存储a的一些信息，减少a坏掉之后的损失。

***fsimage***:元数据镜像文件（文件系统的目录树。）

***edits***：元数据的操作日志（针对文件系统做的修改操作记录）

**namenode内存中存储的是=fsimage+edits。**

SecondaryNameNode负责定时默认1小时，从namenode上，获取fsimage和edits来进行合并，然后再发送给namenode。减少namenode的工作量。

--------------------

**工作原理**

**写操作：**

![format_png 1][]

有一个文件FileA，100M大小。Client将FileA写入到HDFS上。

HDFS按默认配置。

HDFS分布在三个机架上Rack1，Rack2，Rack3。

**a.** Client将FileA按64M分块。分成两块，block1和Block2;

**b.** Client向nameNode发送写数据请求，如图蓝色虚线①------>。

**c.** NameNode节点，记录block信息。并返回可用的DataNode，如粉色虚线②--------->。

Block1: host2,host1,host3

Block2: host7,host8,host4

原理：

NameNode具有RackAware机架感知功能，这个可以配置。

若client为DataNode节点，那存储block时，规则为：副本1，同client的节点上；副本2，不同机架节点上；副本3，同第二个副本机架的另一个节点上；其他副本随机挑选。

若client不为DataNode节点，那存储block时，规则为：副本1，随机选择一个节点上；副本2，不同副本1，机架上；副本3，同副本2相同的另一个节点上；其他副本随机挑选。

**d.** client向DataNode发送block1；发送过程是以流式写入。

流式写入过程，

** 1>**将64M的block1按64k的package划分;

**2>**然后将第一个package发送给host2;

**3>**host2接收完后，将第一个package发送给host1，同时client想host2发送第二个package；

**4>**host1接收完第一个package后，发送给host3，同时接收host2发来的第二个package。

**5>**以此类推，如图红线实线所示，直到将block1发送完毕。

**6>**host2,host1,host3向NameNode，host2向Client发送通知，说“消息发送完了”。如图粉红颜色实线所示。

**7>**client收到host2发来的消息后，向namenode发送消息，说我写完了。这样就真完成了。如图黄色粗实线

**8>**发送完block1后，再向host7，host8，host4发送block2，如图蓝色实线所示。

**9>**发送完block2后，host7,host8,host4向NameNode，host7向Client发送通知，如图浅绿色实线所示。

**10>**client向NameNode发送消息，说我写完了，如图黄色粗实线。。。这样就完毕了。

**分析，**通过写过程，我们可以了解到：

**①**写1T文件，我们需要3T的存储，3T的网络流量贷款。

**②**在执行读或写的过程中，NameNode和DataNode通过HeartBeat进行保存通信，确定DataNode活着。如果发现DataNode死掉了，就将死掉的DataNode上的数据，放到其他节点去。读取时，要读其他节点去。

**③**挂掉一个节点，没关系，还有其他节点可以备份；甚至，挂掉某一个机架，也没关系；其他机架上，也有备份。

**读操作：**

![format_png 2][]

读操作就简单一些了，如图所示，client要从datanode上，读取FileA。而FileA由block1和block2组成。

那么，读操作流程为：

**a.** client向namenode发送读请求。

**b.** namenode查看Metadata信息，返回fileA的block的位置。

block1:host2,host1,host3

block2:host7,host8,host4

**c.** block的位置是有先后顺序的，先读block1，再读block2。而且block1去host2上读取；然后block2，去host7上读取；

上面例子中，client位于机架外，那么如果client位于机架内某个DataNode上，例如,client是host6。那么读取的时候，遵循的规律是：

**优选读取本机架上的数据**。

参考：

[https://www.cnblogs.com/laov/p/3434917.html][https_www.cnblogs.com_laov_p_3434917.html]

[https://zhuanlan.zhihu.com/p/70892423][https_zhuanlan.zhihu.com_p_70892423]

[http://dblab.xmu.edu.cn/wp-content/uploads/2016/01/Chapter3-%E5%8E%A6%E9%97%A8%E5%A4%A7%E5%AD%A6-%E6%9E%97%E5%AD%90%E9%9B%A8-%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%8E%9F%E7%90%86%E4%B8%8E%E5%BA%94%E7%94%A8%EF%BC%88%E7%AC%AC2%E7%89%88%E6%95%99%E6%9D%90%EF%BC%89-%E7%AC%AC3%E7%AB%A0-%E5%88%86%E5%B8%83%E5%BC%8F%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9FHDFS%EF%BC%882017%E5%B9%B42%E6%9C%88%E7%89%88%E6%9C%AC%EF%BC%89.pdf][http_dblab.xmu.edu.cn_wp-content_uploads_2016_01_Chapter3-_E5_8E_A6_E9_97_A8_E5_A4_A7_E5_AD_A6-_E6_9E_97_E5_AD_90_E9_9B_A8-_E5_A4_A7_E6_95_B0_E6_8D_AE_E6_8A_80_E6_9C_AF_E5_8E_9F_E7_90_86_E4_B8_8E_E5_BA_94_E7_94_A8_EF_BC_88_E7_AC_AC2_E7_89_88_E6_95_99_E6_9D_90_EF_BC_89-_E7_AC_AC3_E7_AB_A0-_E5_88_86_E5_B8_83_E5_BC_8F_E6_96_87_E4_BB_B6_E7_B3_BB_E7_BB_9FHDFS_EF_BC_882017_E5_B9_B42_E6_9C_88_E7_89_88_E6_9C_AC_EF_BC_89.pdf]

[Link 1]: http://www.open-open.com/lib/view/open1328763454608.html
[Link 2]: http://static.googleusercontent.com/media/research.google.com/zh-CN//archive/gfs-sosp2003.pdf
[format_png]: /images/20210920/13ac5fd28be84a11bdd642bfafc289f6.png
[format_png 1]: /images/20210920/07a64415b9714dae8ee1ee086cd1b9ed.png
[format_png 2]: /images/20210920/5d407b81b994455abbd1f0f4dda069d4.png
[https_www.cnblogs.com_laov_p_3434917.html]: https://www.cnblogs.com/laov/p/3434917.html
[https_zhuanlan.zhihu.com_p_70892423]: https://zhuanlan.zhihu.com/p/70892423
[http_dblab.xmu.edu.cn_wp-content_uploads_2016_01_Chapter3-_E5_8E_A6_E9_97_A8_E5_A4_A7_E5_AD_A6-_E6_9E_97_E5_AD_90_E9_9B_A8-_E5_A4_A7_E6_95_B0_E6_8D_AE_E6_8A_80_E6_9C_AF_E5_8E_9F_E7_90_86_E4_B8_8E_E5_BA_94_E7_94_A8_EF_BC_88_E7_AC_AC2_E7_89_88_E6_95_99_E6_9D_90_EF_BC_89-_E7_AC_AC3_E7_AB_A0-_E5_88_86_E5_B8_83_E5_BC_8F_E6_96_87_E4_BB_B6_E7_B3_BB_E7_BB_9FHDFS_EF_BC_882017_E5_B9_B42_E6_9C_88_E7_89_88_E6_9C_AC_EF_BC_89.pdf]: http://dblab.xmu.edu.cn/wp-content/uploads/2016/01/Chapter3-%E5%8E%A6%E9%97%A8%E5%A4%A7%E5%AD%A6-%E6%9E%97%E5%AD%90%E9%9B%A8-%E5%A4%A7%E6%95%B0%E6%8D%AE%E6%8A%80%E6%9C%AF%E5%8E%9F%E7%90%86%E4%B8%8E%E5%BA%94%E7%94%A8%EF%BC%88%E7%AC%AC2%E7%89%88%E6%95%99%E6%9D%90%EF%BC%89-%E7%AC%AC3%E7%AB%A0-%E5%88%86%E5%B8%83%E5%BC%8F%E6%96%87%E4%BB%B6%E7%B3%BB%E7%BB%9FHDFS%EF%BC%882017%E5%B9%B42%E6%9C%88%E7%89%88%E6%9C%AC%EF%BC%89.pdf

发表评论取消回复

表情：

评论列表（有 0 条评论，426人围观）

还没有评论，来说两句吧...

相关阅读

相关【Hadoop-HDFS】HDFS中Fsimage与Edits详解

【Hadoop-HDFS】HDFS中Fsimage与Edits详解 1）概述 2）NameNode元数据解析 3）Fsimage 3.1.F

蔚落/ 2023年10月09日 20:30/ 0 赞/ 55 阅读

相关【Hadoop】Hadoop生态系列之HDFS架构简述

上一篇：[Hadoop生态系列之Hadoop简述及环境搭建][Hadoop_Hadoop] 指路牌 HDFS架构简介

左手的ㄟ右手/ 2023年10月05日 10:35/ 0 赞/ 69 阅读

相关 Hadoop系列之HDFS 磁盘均衡(17)

HDFS 磁盘均衡 HDFS 磁盘均衡器 HDFS 提供了一个用于 Datanode 内多磁盘之间的数据均衡工具，即 Diskbalancer （磁盘均衡器），它把

我会带着你远行/ 2023年01月11日 08:33/ 0 赞/ 210 阅读

相关 Hadoop系列之HDFS机架感知(13)

HDFS 机架感知客户端向 Namenode 发送写请求时，Namenode 为这些数据分配 Datanode 地址，HDFS 数据块副本的放置对于系统整体的可靠性和性

我不是女神ヾ/ 2023年01月10日 13:12/ 0 赞/ 133 阅读

相关 Hadoop系列之HDFS 数据块(12)

HDFS 数据块要把大文件存储在 HDFS上，HDFS 会把大文件分割成小块，即我们通常说的数据块（ block ），它是 Hadoop 分布式文件系统最小的存储单元，

蔚落/ 2023年01月10日 13:12/ 0 赞/ 177 阅读

相关 Hadoop系列之HDFS 简介(8)

HDFS 简介本节我们开始介绍Hadoop生态里面的其中一个组件——HDFS，包括HDFS架构，数据是怎么在HDFS存储的，HDFS的特性，比如分布式存储、容错性，高可

╰半橙微兮°/ 2023年01月09日 15:44/ 0 赞/ 163 阅读

相关 Hadoop系列之HDFS 架构(9)

HDFS 架构 Hadoop HDFS是一个主从（Master / Slave）架构，其中Master是Namenode节点，它主要用来存储元数据，Slave是Datan

淩亂°似流年/ 2023年01月09日 15:44/ 0 赞/ 185 阅读

相关 Python API 操作Hadoop hdfs详解

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/ 友情链接： [高州阳光论坛][Link 2]https://www.hnt

缺乏、安全感/ 2022年12月29日 06:41/ 0 赞/ 230 阅读

相关 hadoop HDFS SecondNamenode详解

转载自：[http://blog.chinaunix.net/uid-20577907-id-3524135.html][http_blog.chinaunix.net_uid

一时失言乱红尘/ 2022年08月27日 10:42/ 0 赞/ 174 阅读

相关 Hadoop系列HDFS详解

简介 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google F

港控/mmm°/ 2021年09月21日 08:10/ 0 赞/ 427 阅读