好程序员大数据高端班教程-HDFS读写两步教程

悠悠 2022-01-20 13:37 163阅读 0赞

一、HDFS读写之前提

NameNode(元数据节点)：存放元数据（名称空间、副本数、权限、块列表、集群配置信息），不包含数据节点。元数据节点将文件系统元数据存储在内存中。

1.DataNode（数据节点）:真正存储数据的地方，以数据块为单位。默认数据块大小为128M。数据节点周期性的将所有存储块信息发送给元数据节点。客户端通过和NameNode节点沟通后，再向数据节点对数据读出或写入。

2.SecondaryNameNode(从元数据节点)：并不是元数据节点的备用节点，而是配合元数据节点工作，与元数据节点有不同的工作。SecondaryNameNode周期性地将元数据节点的命名空间镜像文件和修改日志合并，帮助元数据节点将内存中元数据信息存储到磁盘上。

3.Client(客户端)：客户端就是需要获取HDFS系统中文件的应用程序和接口，引发HDFS的读/写等操作。

值得注意的是：

1.namenode实际客户端只上传一个datanode,其余两个是namenode完成的。让datenote自己复制的。然后复制完成以后逐级返回结果给namenode。如果2,3datanode复制失败，再有namenode分配新的datanode地址。对于客户端来说默认上传一个datanode就可以了，其余的由datanode自己复制。

2.datanode切片是由客户端完成的。datanode第二三个副本的上传和第一个上传是异步的。

二、HDFS中的写流程：

1.根namenode通信请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。

2.namenode返回是否可以上传。

3.client请求第一个 block该传输到哪些datanode服务器上。

4.namenode返回3个datanode服务器ABC。

5.client请求3台dn中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C，将真个pipeline建立完成，逐级返回客户端。

6.client开始往A上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，A收到一个packet就会传给B，B传给C；A每传一个packet会放入一个应答队列等待应答。

7.当一个block传输完成之后，client再次请求namenode上传第二个block的服务器。

三、hdfs中的读流程：

1.跟namenode通信查询元数据，找到文件块所在的datanode服务器。

2.挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流。

3.datanode开始发送数据。（从磁盘里面读取数据放入流，以packet为单位来做校验）

4.客户端以packet为单位接收，先在本地缓存，然后写入目标文件。

发表评论取消回复

表情：

评论列表（有 0 条评论，163人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据-Hadoop-HDFS(二)：HDFS读写数据流程

4.1 HDFS写数据流程 4.1.1 剖析文件写入 ![f8ec08193c1f4a8d9fed020575481d41.png][] （1）客户端通过Dist

分手后的思念是犯贱/ 2023年10月08日 23:18/ 0 赞/ 15 阅读

相关 HDFS写数据、读数据流程

1.HDFS写数据流程 (向HDFS上传数据流程)![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text

骑猪看日落/ 2022年10月29日 15:29/ 0 赞/ 230 阅读

相关 HDFS读写数据流程

1、HDFS的写数据流程 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6L

爱被打了一巴掌/ 2022年08月31日 07:21/ 0 赞/ 261 阅读

相关 HDFS 读写数据详细步骤

读取数据: ![这里写图片描述][20160504155103653] 如图所示： client 要从datanode 上读取file ，而file是由block1

青旅半醒/ 2022年08月21日 13:57/ 0 赞/ 188 阅读

相关 HDFS数据的读写过程

1.一般的文件读取操作包括：open 、read、close等 ![Center][] 客户端读取数据过程，其中1、3、6步由客户端发起：客户端首先获取FileSyst

痛定思痛。/ 2022年07月24日 10:26/ 0 赞/ 193 阅读

相关 HDFS读写数据的原理

目录 1 概述 2 HDFS写数据流程 3 HDFS读数据流程目录最近由于要准备面试，就把之前学过的东西好

缺乏、安全感/ 2022年06月03日 10:59/ 0 赞/ 430 阅读

相关好程序员大数据高端班教程-HDFS读写两步教程

一、HDFS读写之前提　　NameNode(元数据节点)：存放元数据（名称空间、副本数、权限、块列表、集群配置信息），不包含数据节点。元数据节点将文件系统元数据存

悠悠/ 2022年01月20日 13:37/ 0 赞/ 164 阅读

相关【大数据面试】HDFS读写原理

[hdfs面试题][hdfs] [MapReduce面试题][MapReduce] [hive面试题][hive] [kafka面试题][kafka] [hba

ゝ一世哀愁。/ 2022年01月16日 15:53/ 0 赞/ 257 阅读

相关好程序员大数据教程Hadoop全分布安装（非HA)

　　机器名称启动服务　　linux11 namenode secondrynamenode datanode 　　linux12 datanode 　　

Dear 丶/ 2022年01月11日 14:13/ 0 赞/ 213 阅读

相关好程序员大数据基础教程分享TextFile分区问题

val rdd1 = sc.parallelize(List(2,3,4,1,7,5,6,9,8)) 获取分区的个数:rdd1.partitions.length,在spa

向右看齐/ 2021年11月22日 21:44/ 0 赞/ 361 阅读