hadoop文件的读写流程

川长思鸟来 2022-06-07 07:41 244阅读 0赞

2.文件的写流程

1.客户端会调用DistributedFileSystem对象的create(filePath)方法，与NameNode进行RPC通信。  
2.NameNode接收到用户的写文件的RPC请求后，首先进行各种检查。如用户是否有创建权限和该文件是否已存在，检查通过后才会创建一个文件，并将操作记录到editlog中，然后DistributedFileSystem会将DFSOutputStream对象包装在FSDataOutStream实例中，返回客户端；否则文件创建失败并且给客户端抛IOException。  
3.客户端会开始写文件，FSOutputStream会将文件进行切块。然后向NameNode请求适合存放文件块的DataNode列表，然后这些DataNode会生成一个数据流管道，我们假设副本集参数被设置为3，那么这个数据流管道中就有三个DataNode节点。  
4.首先FSOutputStream会将文件块向数据流管道中的第一个DataNode节点写数据，第一个DataNode接收文件块后会把文件块写向数据流管道中的第二个节点，同理，第二个节点接收保存数据块后会将数据块写向数据流管道中的第三个DataNode节点。  
5.当第三各DataNode节点数据库写入成功后，会向第二个DataNode节点发送数据写入成功的确认消息，第二个DataNode节点收到第三个的确认消息后会向第一个DataNode节点发送数据写入成功的确认消息。当三个节点都确认数据写入成功后DataNode会向FSOutputStream对象发送ack packets，最后会调用对象的close()方法。  
  
  
注意：假如客户端就是集群中某一个DataNode节点，那么第一个数据块会优先存储在本DataNode节点上。

3.文件的读流程

1、客户端会调用DistributedFileSystem的open()方法与NameNode进行RPC通信，NameNode会返回该文件的部分或全部的block列表  
(也包含该列表各block的分布在Datanode地址的列表),也就是返回FSDataInputStream对象  
2、客户端调用FSDataInputStream对象的read()方法   
a、会去与第一个块的最近的datanode进行read,读取完后,会check,假如successful,会关闭 与当前 Datanode通信;  
(假如check fail,会记录失败的块+Datanode信息,下次就不会读取;那么会去该块的第二个 Datanode地址读取)   
b、然后去第二个块的最近的Datanode上的进行读取,check后,会关闭与此datanode的通信。   
c、假如block列表读取完了,文件还未结束,那么FileSystem会从Namenode获取下一批的block的列表。  
(当然读操作对于Client端是透明的)  
3、客户端将文件块读取完整后，会调用FSDataInputStream的close()方法,关闭输入流。

发表评论取消回复

表情：

评论列表（有 0 条评论，244人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java文件操作：读写文件的基本流程

在Java中，文件操作是常见的任务之一，涉及到读取和写入文件。以下是Java读写文件的基本流程： ###1.导入必要的类在Java中，文件操作通常需要导入`java.io`包

╰+哭是因爲堅強的太久メ/ 2024年11月08日 19:57/ 0 赞/ 32 阅读

相关【Hadoop-HDFS】HDFS的读写流程 & SNN的数据写入流程

【Hadoop-HDFS】HDFS的读写流程 & SNN的数据写入流程 1）HDFS的数据写入流程 2）HDFS的数据读取流程 3）SNN的数据写入的流

た入场券/ 2023年10月05日 16:25/ 0 赞/ 30 阅读

相关 Hadoop：HDFS读写流程

文章目录一、HDFS写数据流程 1.1 剖析文件写入 1.2 副本存储节点选择二、HDFS读数据流程一、HDFS写数据流程

蔚落/ 2023年02月12日 06:27/ 0 赞/ 63 阅读

相关 HDFS读写文件流程

目录基础概念 block packet chunk HDFS读写文件流程读文件流程写文

分手后的思念是犯贱/ 2023年01月07日 03:54/ 0 赞/ 177 阅读

相关 Hadoop进行读写文件

1，如果要向远程Hadoop服务器进行“读写”的话，需要配置`core-site.xml`中的`fs.defaultFS`。例如： <property>

矫情吗；*/ 2022年07月12日 11:17/ 0 赞/ 263 阅读

相关 Hadoop_HDFS文件读写代码流程解析和副本存放机制

Hadoop学习笔记总结 01.RPC(远程过程调用) 1. RPC概念远程过程指的不是同一个进程的调用。它是一种通过网络从远程计算机程序上请求服务，而不需要了

冷不防/ 2022年06月17日 14:00/ 0 赞/ 244 阅读

相关 hadoop文件的读写流程

2.文件的写流程 1.客户端会调用DistributedFileSystem对象的create(filePath)方法，与NameNode进行RPC通信。 2.NameN

川长思鸟来/ 2022年06月07日 07:41/ 0 赞/ 245 阅读

相关 Hadoop-HDFS 文件读写流程

1.HDFS写流程：客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block

妖狐艹你老母/ 2022年05月15日 04:15/ 0 赞/ 300 阅读

相关 HDFS读写文件的具体流程

HDFS读写文件的具体流程 1.图解写文件 2.流程详解 3.图解读文件 4.流程详解 1.图解写文件 ![在这里插入图片描述][wate

ゝ一世哀愁。/ 2022年04月04日 08:22/ 0 赞/ 273 阅读

相关 Hadoop之HDFS读写数据流程

Hadoop之HDFS读写数据流程 -------------------- 目录 1. HDFS写数据流程 2. HDFS读数据流程 3. 网络拓扑概念

ゝ一纸荒年。/ 2022年01月21日 06:47/ 0 赞/ 318 阅读