HDFS数据的读写过程

痛定思痛。 2022-07-24 10:26 192阅读 0赞

1.一般的文件读取操作包括：open 、read、close等

![Center][]

客户端读取数据过程，其中1、3、6步由客户端发起：

客户端首先获取FileSystem的一个实例，这里就是HDFS对应的实例：

①客户端调用FileSystem实例的open方法，获得这个文件对应的输入流，在HDFS中就是DFSInputStream

②构造第一步中的输入流DFSInputStream时，通过RPC远程调用NameNode可以获得NameNode中此文件对应的数据块的保存位置，包括这个文件的副本的保存位置（主要是各DataNode的地址）。注意，在输入流中会按照网络拓扑结构，根据与客户端距离对DataNode进行简单排序

③④获得此输入流之后，客户端调用read方法读取数据。输入流DFSInputStream会根据前面的排序结果，选择最近的DataNode建立连接并读取数据。如果客户端和其中一个DataNode位于一个机器中（比如MapReduce过程中的mapper和reducer），那么就会直接从本地读取数据。

⑤如果已达到数据块末端，那么关闭与这个DataNode的连接，然后重新查找下一个数据块。

不断执行②-⑤直到数据全部读完，然后调用close

⑥客户端调用close，关闭输入流DFSInputStream

另外如果DFSInputStream和DataNode通信时出现错误，或者是数据校验出错，那么DFSInputStream就会重新选择DataNode传输数据。

2、数据的写入过程 一般文件写入操作不外乎create、write、close几种，

![Center 1][]

客户端写入数据过程，其中1、3、6由客户端发起

客户端首先要获取FileStream的一个实例，这里就是HDFS的实例，

①②客户端调用FileSystem实例的create方法，创建文件。NameNode通过检查，比如文件是否存在，客户端是否拥有创建权限等；通过检查之后，在NameNode添加文件信息。注意，因为此时文件没有数据，所以NameNode上也没有文件数据块信息。创建结束后，HDFS会返回一个输出流DFSDataOutputStream给客户端。

③客户端调用输出流DFSDataOutputStream的write方法向HDFS中对应的文件写入数据。数据首先会被分包，这些分包会写入一个输入流内部队列Data队列中，接收完整数据分包，输出流DFSDataOutputStream会向nameNode申请保存文件和副本数据块的若干个DataNode，这若个个DataNode会形成一个数据传输管道。

④DFSDataOutputStream会（根据网络拓扑结构排序）将数据传输给距离上最短的DataNode，这个DataNode接收到数据包之后会传递给下一个DataNode，数据在各DataNode之间通过管道流动，而不是全部由输出流分发，这样可以减少传输开销。

⑤因为DataNode位于不同机器上，数据需要通过网络发送，所以，为了保证所有的DataNode的数据都是准确的，接收到数据的DataNode要向发送者发送确认包（ACKPacket）。对于某个数据块，只有当DFSDataOutputStream收到了所有DataNode的正确ACK，才能确认传输结束。DFSDataOutputStream内部专门维护了一个等待ACK队列，这一队列保存已经进入管道传输数据、但是并未被完全确认的数据包。

不断③-⑤直到数据全部写完，客户端调用close关闭文件。

⑥客户端调用close方法，DFSDataOutputStream继续等待直到所有数据写入完毕并被确认，调用complete方法通知NameNode文件写入完成。

⑦NameNode接收到complete消息之后，等待相应数量的副本写入完毕后，告知客户端即可。

3、在传输过程中，如果发现某个DataNode失效（未联通，ACK超时），那么HDFS执行如下操作：

①关闭数据传输的管道

②将等待ACK队列中的数据放到Data队列的头部

③更新正常DataNode中所有数据块的版本；当失效的DataNode重启之后，之前的数据块会因为版本不对而被清除。

④在传输管道中删除失效DataNode，重新建立管道并发送数据包。

[Center]: /images/20220722/eff9fab7f7114366af6b627f3545c42a.png
[Center 1]: /images/20220722/f8ca5046711a4a4f84b9d3d2281c3bd3.png

发表评论取消回复

表情：

评论列表（有 0 条评论，192人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据-Hadoop-HDFS(二)：HDFS读写数据流程

4.1 HDFS写数据流程 4.1.1 剖析文件写入 ![f8ec08193c1f4a8d9fed020575481d41.png][] （1）客户端通过Dist

分手后的思念是犯贱/ 2023年10月08日 23:18/ 0 赞/ 15 阅读

相关 HDFS读写流程介绍，HDFS读数据和写数据的原理是什么？

Client(客户端)对HDFS中的数据进行读写操作，分别是Client从HDFS中查找数据，即为Read(读)[数据][Link 1];Client从HDFS中存储数据，

「爱情、让人受尽委屈。」/ 2022年12月26日 09:21/ 0 赞/ 150 阅读

相关 HDFS写数据、读数据流程

1.HDFS写数据流程 (向HDFS上传数据流程)![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text

骑猪看日落/ 2022年10月29日 15:29/ 0 赞/ 230 阅读

相关 HDFS读写数据流程

1、HDFS的写数据流程 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6L

爱被打了一巴掌/ 2022年08月31日 07:21/ 0 赞/ 261 阅读

相关 HDFS 读写数据详细步骤

读取数据: ![这里写图片描述][20160504155103653] 如图所示： client 要从datanode 上读取file ，而file是由block1

青旅半醒/ 2022年08月21日 13:57/ 0 赞/ 187 阅读

相关 HDFS数据的读写过程

1.一般的文件读取操作包括：open 、read、close等 ![Center][] 客户端读取数据过程，其中1、3、6步由客户端发起：客户端首先获取FileSyst

痛定思痛。/ 2022年07月24日 10:26/ 0 赞/ 193 阅读

相关 HDFS读写数据的原理

目录 1 概述 2 HDFS写数据流程 3 HDFS读数据流程目录最近由于要准备面试，就把之前学过的东西好

缺乏、安全感/ 2022年06月03日 10:59/ 0 赞/ 429 阅读

相关 HDFS读写过程解析

一、文件的打开 1.1、客户端 HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，

古城微笑少年丶/ 2022年05月26日 09:53/ 0 赞/ 210 阅读

相关 HDFS写过程

1.初始化FileSystem，客户端调用create()来创建文件 2.FileSystem用RPC调用元数据节点，在文件系统的命名空间中创建一个新的文件，元数据节点首先确

叁歲伎倆/ 2022年05月24日 11:19/ 0 赞/ 170 阅读

相关 HDFS读过程

1.初始化FileSystem，然后客户端(client)用FileSystem的open()函数打开文件 2.FileSystem用RPC调用元数据节点，得到文件的数据块信

分手后的思念是犯贱/ 2022年05月24日 11:19/ 0 赞/ 180 阅读