HDFS 读写数据详细步骤

青旅半醒 2022-08-21 13:57 187阅读 0赞

读取数据:  
![这里写图片描述][20160504155103653]  
如图所示：  
client 要从datanode 上读取file ，而file是由block1 和block2 组成的。其中block1 在datanode 的存储位置是 host2,host1,host3; block2 在datanode 的存储位置是 host7,host8,host4;  
它的读取流程如下：

*  client 向namenode 发送读取请求，并告诉它要读取的文件（在此之前Hadoop 对client 有一个身份验证）
 *  namenode 查看Metadata 信息，确认文件存在且用户对其有访问权限，namenode 会告诉client 这个文件的第一块数据块的标号和保存该数据块的datanode 列表（这个列表是按照datanode 与client 距离进行了排序）
 *  client 便访问最合适的datanode,读取到需要的数据块。然后这个过程一直重复，直到读取完所有数据块为止。

写入数据：

![这里写图片描述][20160504195319240]  
写入数据的流程：

*  client 将file 分块，分为两块block1,block2
 *  client 向namenode 发送写入数据请求
 *  namenode 记录block信息，返回可用的datanode :  
    block1 :host2,host1,host3 ;block2:host7,host8,host4  
    原理：  
    若client为datanode节点，那存储block时，规则为：副本1，同client的机架节点上；副本2，不同机架节点上；副本3，同第二个副本机架的另一个节点上；其他副本随机挑选。  
    若client不为DataNode节点，那存储block时，规则为：副本1，随机选择一个机架节点上；副本2，不同副本1的机架机架上；副本3，同副本2相同的另一个机架节点上；其他副本随机挑选。
 *  client 向datanode 发送block1，发送过程采用流式发送。  
    
    
     *  将64M的block1按64k的package划分;
     *  然后将第一个package 发送给host2
     *  host2 接收之后，将第一个package发送给host1,同时client 向host2发送第二个package
     *  host1接收完第一个package之后，发送给host3,同时接收host2发来的第二个package
     *  循环往复，一直到将block1发送完毕为止。
     *  host2,host1,host3向NameNode，host2向Client发送通知，表示“消息发送完了”。
     *  client收到host2发来的消息后，向namenode发送消息，表示“我写完了”。这样block1就真完成了。
     *  发送完block1后，再向host7，host8，host4发送block2
     *  发送完block2后，host7,host8,host4向NameNode，host7向Client发送通知
     *  client向NameNode发送消息，表示“我写完了”。这样整个文件写入完毕。

[20160504155103653]: /images/20220724/fc9446746f1e4ae7bcc3cb5e89d64bfe.png
[20160504195319240]: /images/20220724/e132bcb3ced84096903560da143863a2.png

发表评论取消回复

表情：

评论列表（有 0 条评论，187人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据-Hadoop-HDFS(二)：HDFS读写数据流程

4.1 HDFS写数据流程 4.1.1 剖析文件写入 ![f8ec08193c1f4a8d9fed020575481d41.png][] （1）客户端通过Dist

分手后的思念是犯贱/ 2023年10月08日 23:18/ 0 赞/ 15 阅读

相关 HDFS读写流程介绍，HDFS读数据和写数据的原理是什么？

Client(客户端)对HDFS中的数据进行读写操作，分别是Client从HDFS中查找数据，即为Read(读)[数据][Link 1];Client从HDFS中存储数据，

「爱情、让人受尽委屈。」/ 2022年12月26日 09:21/ 0 赞/ 151 阅读

相关 HDFS读写流程

文章目录 1 读 1.1 Client 访问NN 查询元数据信息 1.2 返回输入流对象(FSData InputStrea

小鱼儿/ 2022年11月27日 12:26/ 0 赞/ 254 阅读

相关 HDFS写数据、读数据流程

1.HDFS写数据流程 (向HDFS上传数据流程)![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text

骑猪看日落/ 2022年10月29日 15:29/ 0 赞/ 230 阅读

相关 HDFS读写数据流程

1、HDFS的写数据流程 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6L

爱被打了一巴掌/ 2022年08月31日 07:21/ 0 赞/ 261 阅读

相关 HDFS 读写数据详细步骤

读取数据: ![这里写图片描述][20160504155103653] 如图所示： client 要从datanode 上读取file ，而file是由block1

青旅半醒/ 2022年08月21日 13:57/ 0 赞/ 188 阅读

相关 HDFS数据的读写过程

1.一般的文件读取操作包括：open 、read、close等 ![Center][] 客户端读取数据过程，其中1、3、6步由客户端发起：客户端首先获取FileSyst

痛定思痛。/ 2022年07月24日 10:26/ 0 赞/ 193 阅读

相关 HDFS读写数据的原理

目录 1 概述 2 HDFS写数据流程 3 HDFS读数据流程目录最近由于要准备面试，就把之前学过的东西好

缺乏、安全感/ 2022年06月03日 10:59/ 0 赞/ 430 阅读

相关 Hadoop之HDFS读写数据流程

Hadoop之HDFS读写数据流程 -------------------- 目录 1. HDFS写数据流程 2. HDFS读数据流程 3. 网络拓扑概念

ゝ一纸荒年。/ 2022年01月21日 06:47/ 0 赞/ 319 阅读

相关【大数据面试】HDFS读写原理

[hdfs面试题][hdfs] [MapReduce面试题][MapReduce] [hive面试题][hive] [kafka面试题][kafka] [hba

ゝ一世哀愁。/ 2022年01月16日 15:53/ 0 赞/ 257 阅读