从HDFS文件系统中读写文件原理

约定不等于承诺〃 2022-05-12 01:28 204阅读 0赞

# 1、从HDFS文件系统中写文件 #

![70][]

1、客户端发起请求要写文件 /aa/jdk.tgz

2、namenode会检查该目录是否存在，返回是否可写

3、客户端请求写入第一个block

4、namenode返回3个datanode主机

5、挑选dn1，请求建立传输数据的连接，建立socket连接，请求带有参数，告诉dn1要传输给多少台机器

6、7、dn1收到请求后与其他机器建立数据传输链路

8、9、其他机器响应dn1

10、dn1响应给客户端已经准备好了

11、传输第一个block数据带有id、从本地文件输入流中抽取数据而且是从0偏移量开始读，一边读一边通过网络输出流传输给dn1，dn1通过网络输入流接受数据，通过本地文件输出流写入到磁盘中，dn1一边接受byte字节数据一边用网络输出流写道dn2上，dn2的接受数据同dn1的一样，dn3也是同理

12、重复步骤3-11

13、数据全部写完后，告知Namenode

14、Namenode会确认记录元数据

细节：

如果写入某个DataNode失败，数据会继续写入其他的DataNode。然后NameNode会找另外一个好的DataNode继续复制，以保证冗余性；

# 2、从HDFS文件系统中读文件 #

![70 1][]

1、客户端向NameNode发起请求，请求读取/aaa/jdk.tgz数据

2、NameNode返回元数据信息，主要返回block存放的datanode

3、挑选一台datanode（就近原则），请求建立socket流 ，请求读取block数据，

从datanode的本地文件输入流开始读数据，以二进制的形式写到网络输出流，

网络输出流通过网络传输到客户端， 客户端通过网络输入流接收数据，写入到

本地文件输出流中，然后写入目标文件

4、重复3过程，直到读取完全部的信息，最终合成一个文件。

[70]: /images/20220512/15832add2a1747c2ac2574675c2bed71.png
[70 1]: /images/20220512/e95b96f408c84dab85d97d831343536b.png

发表评论取消回复

表情：

评论列表（有 0 条评论，204人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS文件系统读写原理

在HDFS中，关键的三大角色为：NameNode（命名节点）、DataNode（数据节点）、Client（客户端） Client(客户端)对HDFS中的数据进行读写操作，分别

迈不过友情╰/ 2024年03月27日 14:52/ 0 赞/ 81 阅读

相关 HDFS文件读写原理

Client（客户端）对HDFS中的数据进行读写操作，分别是Client从HDFS中查找数据，即为Read（读）数据；Client从HDFS中存储数据，即为Write（写）数据

逃离我推掉我的手/ 2023年10月07日 16:29/ 0 赞/ 38 阅读

相关 HDFS读写文件流程

目录基础概念 block packet chunk HDFS读写文件流程读文件流程写文

分手后的思念是犯贱/ 2023年01月07日 03:54/ 0 赞/ 177 阅读

相关从内核文件系统看文件读写过程

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMy

绝地灬酷狼/ 2022年10月06日 02:53/ 0 赞/ 137 阅读

相关 Hadoop分布式文件系统——HDFS概念以及hdfs读写数据

HDFS一流式数据访问模式来存储超大文件，运行于商用硬件集群上。一、HDFS 的概念 1、数据块：（1）每个磁盘都有默认的数据块大小，这是磁盘进行数据读/写的

「爱情、让人受尽委屈。」/ 2022年07月15日 11:25/ 0 赞/ 210 阅读

相关 Hadoop分布式文件系统——HDFS概念以及hdfs读写数据

HDFS一流式数据访问模式来存储超大文件，运行于商用硬件集群上。一、HDFS 的概念 1、数据块：（1）每个磁盘都有默认的数据块大小，这是磁盘进行数据读/写的

ゝ一世哀愁。/ 2022年07月15日 11:25/ 0 赞/ 293 阅读

相关 HDFS文件读写操作

HDFS读文件 1. 客户端首先调用FileSystem对象的open方法打开文件，其实获取的是一个DistributedFileSystem的实例。 2. Distri

布满荆棘的人生/ 2022年05月28日 01:58/ 0 赞/ 308 阅读

相关 Hadoop-HDFS 文件读写流程

1.HDFS写流程：客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block

妖狐艹你老母/ 2022年05月15日 04:15/ 0 赞/ 300 阅读

相关从HDFS文件系统中读写文件原理

1、从HDFS文件系统中写文件 ![70][] 1、客户端发起请求要写文件 /aa/jdk.tgz 2、namenode会检查该目录是否存在，返回是

约定不等于承诺〃/ 2022年05月12日 01:28/ 0 赞/ 205 阅读

相关 Java API 读写 hdfs分布式文件系统（创建目录、读文件、写文件）

Java API 读写 hdfs 操作一、概述操作hdfs分布式文件系统的类为FileSystem对象 1、创建文件夹（递归创建）：fs. mkdi

电玩女神/ 2022年03月09日 19:50/ 0 赞/ 775 阅读