HDFS 的并发写问题

川长思鸟来 2022-10-28 15:29 178阅读 0赞

### hdfs的并发写问题 ###

*  hdfs的并发写问题
 *  结论

# hdfs的并发写问题 #

总所周知，hadoop的hdfs组件有一个缺点就是不支持并发写入，不支持文件随即修改.

有以下两种情况：  
两个客户端同时向hdfs上传不同名文件:  
![在这里插入图片描述][20210207112319351.png]  
![在这里插入图片描述][20210207112330236.png]  
全都上传成功.  
两个客户端同时向hdfs上传同名文件:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][20210207112354524.png]  
两个文件全部上传失败.  
因此hdfs不能并发写指的是不能同时上传同位置同名文件.

额外一种情况  
两个同名文件，一个文件成功上传，再用另一个客户端上传同名文件，会提示 File exists.  
![在这里插入图片描述][20210207112401142.png]

# 结论 #

hdfs的不能并发写指的是：同位置同名文件只能有一个writer，否则会使得所有的上传请求失败

不同位置或者不同名的文件可以同时上传.

[20210207112319351.png]: /images/20221024/9e55753af14b428eba3f046e0519adec.png
[20210207112330236.png]: /images/20221024/e2bd0e89a1cd476c9e33daf8d6fd50e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70]: /images/20221024/b2736f72d60744bdb8cada82d09faea8.png
[20210207112354524.png]: /images/20221024/42cc181f8ad246b184314d29bcd35615.png
[20210207112401142.png]: /images/20221024/3329a9e99ab44a5486104d9fe516c67b.png

发表评论取消回复

表情：

评论列表（有 0 条评论，178人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS读写流程

数据流读流程的详解 > 读操作： > > hdfs dfs -get /file02 ./file02 > > hdfs dfs

素颜马尾好姑娘i/ 2023年10月13日 15:48/ 0 赞/ 102 阅读

相关 HDFS读写流程介绍，HDFS读数据和写数据的原理是什么？

Client(客户端)对HDFS中的数据进行读写操作，分别是Client从HDFS中查找数据，即为Read(读)[数据][Link 1];Client从HDFS中存储数据，

「爱情、让人受尽委屈。」/ 2022年12月26日 09:21/ 0 赞/ 155 阅读

相关 HDFS读写流程

文章目录 1 读 1.1 Client 访问NN 查询元数据信息 1.2 返回输入流对象(FSData InputStrea

小鱼儿/ 2022年11月27日 12:26/ 0 赞/ 275 阅读

相关 HDFS 的并发写问题

hdfs的并发写问题 hdfs的并发写问题结论 hdfs的并发写问题总所周知，hadoop的hdfs组件有一个缺点就是不支持并发写入，不支持文件随

川长思鸟来/ 2022年10月28日 15:29/ 0 赞/ 179 阅读

相关 HDFS数据的读写过程

1.一般的文件读取操作包括：open 、read、close等 ![Center][] 客户端读取数据过程，其中1、3、6步由客户端发起：客户端首先获取FileSyst

痛定思痛。/ 2022年07月24日 10:26/ 0 赞/ 204 阅读

相关 HDFS读写数据的原理

目录 1 概述 2 HDFS写数据流程 3 HDFS读数据流程目录最近由于要准备面试，就把之前学过的东西好

缺乏、安全感/ 2022年06月03日 10:59/ 0 赞/ 437 阅读

相关 HDFS写过程

1.初始化FileSystem，客户端调用create()来创建文件 2.FileSystem用RPC调用元数据节点，在文件系统的命名空间中创建一个新的文件，元数据节点首先确

叁歲伎倆/ 2022年05月24日 11:19/ 0 赞/ 181 阅读

相关 HDFS的读写流程

HDFS写流程 ![70][] NameNode负责管理存储在HDFS.上所有文件的元数据，它会确认客户端的请求，并记录下文件的名字和存储这个文件的DataNode

╰+攻爆jí腚メ/ 2022年05月20日 08:43/ 0 赞/ 521 阅读

相关 HDFS的读写原理

1. 简介 HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS（Goo

矫情吗；*/ 2022年03月20日 14:28/ 0 赞/ 283 阅读

相关 HDFS 读写流程

HDFS简介 HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。

r囧r小猫/ 2022年03月12日 03:22/ 0 赞/ 308 阅读