HDFS运行机制

快来打我* 2023-01-17 08:55 20阅读 0赞

**目录**

NameNode

DataNode

SecondaryNameNode

Client

HDFS文件上传

HDFS文件下载

--------------------

### NameNode ###

>  *  存储文件的元数据，位置信息
>  *  配置副本策略
>  *  管理数据块映射信息
>  *  处理读写请求

### DataNode ###

>  *  DataNode 存储文件的真实数据，并做数据校验
>  *  一个数据块在DN中会存储数据本身，数据长度，检验和以及时间戳。同时DN启动后会向NN进行注册，后续每隔一小时向NN汇报数据块信息，同时每三秒进行一次NN心跳并带回NN指令，如果10分钟没有心跳信号，NN会认为该节点宕机。
>  *  在数据节点退役过程中推荐使用黑名单进行退役，辞职后会进行HDFS数据转移。

### SecondaryNameNode ###

>  *  SecondaryNameNode 对NameNode做备份,但不能顶替NN提供服务
>  *  定期合并镜像文件，编辑日志，推送给NN
>  *  可以恢复NN的数据（可能不完整）

###  Client ###

>  *  Client切分上传的文件
>  *  告知NN文件的位置信息，交互DN的读写数据
>  *  通过命令管理HDFS

### HDFS文件上传 ###

> 客户端通过HDFS对象向NameNode提交上传请求，NameNode确定文件状态以及父目录是否存在，返回许可。随后用户上传文件的第一个数据块，请求NameNode返回DataNode，NN根据请求返回三个DataNode节点，用户通过输出流请求在一个DataNode上上传数据（上传的DataNode根据网络拓扑计算决定），然后该DataNode会调用其他的DataNode节点将这个通信信道建立完成。三个节点逐级应答客户端，客户端向第一个DataNode节点上传一个数据块，以packet为单位，DataNode收到后先进行落盘处理，同时将该packet传送给第二个DN节点然后再传给第三个DataNode节点。当第一个块传输完成后，第二个数据块重复上面的动作，传递完成后关闭传输流，传输过程中，第一个DataNode节点会将packet放入一个应答队列，待所有节点相应完成后表示上传成功。

### HDFS文件下载 ###

> 客户端访问HDFS对象，向NameNode请求下载某文件，NameNode返回文件的元数据信息，以及数据块坐在的位置。客户端得到信息后获取文件输入流，根据就近原则随机原则随机挑选一个DataNode节点获取packet，客户端收到后现在本地缓存，然后写入目标文件。

发表评论取消回复

表情：

评论列表（有 0 条评论，20人围观）

还没有评论，来说两句吧...

相关阅读

相关 hdfs实现思想（机制）及hdfs shell

hdfs的实现思想： 1.hdfs是通过分布式集群存储文件，为客户端提供了一个便捷的访问方式，即虚拟的访问目录结构 2.文件存储到hdfs集群中去的时候是被切分成blo

偏执的太偏执、/ 2023年06月30日 06:54/ 0 赞/ 16 阅读

相关 HDFS运行机制

目录 NameNode DataNode SecondaryNameNode Client HDFS文件上传 HDFS文件下载 ----------------

快来打我*/ 2023年01月17日 08:55/ 0 赞/ 21 阅读

相关 hadoop hdfs运行机制

hdfs特点 hdfs是hadoop的分布式文件系统，用于存储大数据，它的特点是： 1.分布式部署，利用廉价的机器存储大数据 2.提供副本机制，容错机制，在机器宕

客官°小女子只卖身不卖艺/ 2022年08月23日 05:53/ 0 赞/ 277 阅读

相关【Hadoop】HDFS的运行原理

简介 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google F

古城微笑少年丶/ 2022年07月15日 05:58/ 0 赞/ 189 阅读

相关深刻理解HDFS工作机制

[深刻理解HDFS工作机制][HDFS] http://www.cnblogs.com/wxisme/p/6270860.html 　深入理解一个技

r囧r小猫/ 2022年06月13日 05:58/ 0 赞/ 217 阅读

相关 HDFS工作机制

两大角色： DataNode：负责管理用户的文件数据块 NameNode：负责管理整个文件系统的元数据 NameNode的工作机制职责： 1）客户端请求的

小鱼儿/ 2022年06月07日 10:09/ 0 赞/ 199 阅读

相关 HDFS的运行基本原理

简介 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google F

超、凢脫俗/ 2022年06月06日 09:28/ 0 赞/ 199 阅读

相关 Hadoop HDFS的运行原理

简介 HDFS（Hadoop Ditributed File Syste）是Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google F

迈不过友情╰/ 2022年06月04日 03:17/ 0 赞/ 199 阅读

相关 HDFS 运行原理

简介 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Google F

超、凢脫俗/ 2022年04月23日 13:20/ 0 赞/ 207 阅读

相关 HDFS元数据管理机制

元数据管理概述 HDFS元数据，按类型分，主要包括以下几个部分：文件、目录自身的属性信息，例如文件名，目录名，修改信息等。文件记录的信息的存储相关的信息

港控/mmm°/ 2022年02月19日 15:21/ 0 赞/ 271 阅读