Hadoop如何将TB级大文件的上传性能优化上百倍【三】

素颜马尾好姑娘i 2022-12-11 09:10 69阅读 0赞

## 目录 ##

**一、写在前面**

**二、原始的文件上传方案**

**三、大规模分布式系统对大文件上传的性能优化**

（1）Chunk缓冲机制

（2）Packet数据包机制

（3）内存队列异步发送机制

**四、总结**

# 一、写在前面 #

上一篇文章，我们聊了一下Hadoop中的NameNode里的edits log写机制。

主要分析了edits log写入磁盘和网络的时候，是如何通过**分段加锁**以及**双缓冲的机制**，大幅度提升了多线程并发写edits log的吞吐量，从而支持高并发的访问。

如果没看那篇文章的同学，可以回看一下：[大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问。][Hadoop NameNode]

这篇文章，我们来看看，Hadoop的HDFS分布式文件系统的文件上传的性能优化。

首先，我们还是通过一张图来回顾一下文件上传的大概的原理。

![200a7d3e923e0b7fffb8fa221049e03a.png][]

由上图所示，文件上传的原理，其实说出来也简单。

比如有个TB级的大文件，太大了，**HDFS客户端会给拆成很多block**，一个block就是128MB。

这个HDFS客户端你可以理解为是云盘系统、日志采集系统之类的东西。

比如有人上传一个1TB的大文件到网盘，或者是上传个1TB的大日志文件。

然后，HDFS客户端把一个一个的block上传到第一个DataNode

第一个DataNode会把这个block复制一份，做一个副本发送给第二个DataNode。

第二个DataNode发送一个block副本到第三个DataNode。

所以你会发现，**一个block有3个副本**，分布在三台机器上。任何一台机器宕机，数据是不会丢失的。

最后，一个TB级大文件就被拆散成了N多个MB级的小文件存放在很多台机器上了，这不就是分布式存储么？

# 二、原始的文件上传方案 #

今天要讨论的问题，就是那个HDFS客户端上传TB级大文件的时候，到底是怎么上传呢？

我们先来考虑一下，如果用一个比较原始的方式来上传，应该怎么做？

大概能想到的是下面这个图里的样子。

![e6066223e4bca507604545cad5a29376.png][]

很多java的初学者，估计都知道这样来上传文件，其实无非就是不停的从本地磁盘文件用输入流读取数据，读到一点，就立马通过网络的输出流写到DataNode里去。

上面这种流程图的代码，估计刚毕业的同学都可以立马写出来。因为对文件的输入流最多就是个FileInputStream。

而对DataNode的输出流，最多就是个Socket返回的OutputStream。

然后中间找一个小的内存byte\[\]数组，进行流对拷就行了，从本地文件读一点数据，就给DataNode发一点数据。

但是如果你要这么弄，**那性能真是极其的低下了**，网络通信讲究的是适当频率，每次batch批量发送，你得读一大批数据，通过网络通信发一批数据。

不能说读一点点数据，就立马来一次网络通信，就发出去这一点点的数据。

如果按照上面这种原始的方式，绝对会导致网络通信效率极其低下，大文件上传性能很差。

为什么这么说呢？

相当于你可能刚读出来几百个字节的数据，立马就写网络，卡顿个比如几百毫秒。

然后再读下一批几百个字节的数据，再写网络卡顿个几百毫秒，这个性能很差，**在工业级的大规模分布式系统中，是无法容忍的**。

# 三、分布式系统对大文件上传的性能优化 #

好，看完了原始的文件上传，那么我们来看看，Hadoop中的大文件上传是如何优化性能的呢？一起来看看下面那张图。

![784db80a47861ae25b3da058889794f9.png][]

首先你需要自己创建一个针对本地TB级磁盘文件的输入流。

然后读到数据之后立马写入HDFS提供的FSDataOutputStream输出流。

这个FSDataOutputStream输出流在干啥？

大家觉得他会天真的立马把数据通过网络传输写给DataNode吗？

答案当然是否定的了！这么干的话，不就跟之前的那种方式一样了！

**1. Chunk缓冲机制**

首先，数据会被写入一个chunk缓冲数组，这个**chunk是一个512字节大小的数据片段**，你可以这么来理解。

然后这个缓冲数组可以容纳多个chunk大小的数据在里面缓冲。

光是这个缓冲，首先就可以让客户端快速的写入数据了，不至于说几百字节就要进行一次网络传输，想一想，是不是这样？

**2. Packet数据包机制**

接着，当chunk缓冲数组都写满了之后，就会把这个chunk缓冲数组进行一下**chunk切割**，切割为一个一个的chunk，一个chunk是一个数据片段。

然后多个chunk会直接一次性写入另外一个内存缓冲数据结构，就是**Packet数据包**。

一个Packet数据包，设计为可以容纳127个chunk，大小大致为64mb。所以说大量的chunk会不断的写入Packet数据包的内存缓冲中。

通过这个Packet数据包机制的设计，又可以在内存中容纳大量的数据，**进一步避免了频繁的网络传输影响性能。**

**3. 内存队列异步发送机制**

**当一个Packet被塞满了chunk之后，就会将这个Packet放入一个内存队列来进行排队。**

然后有一个DataStreamer线程会不断的获取队列中的Packet数据包，通过网络传输直接写一个Packet数据包给DataNode。

如果一个Block默认是128mb的话，那么一个Block默认会对应两个Packet数据包，每个Packet数据包是64MB。

也就是说，**传送两个Packet数据包给DataNode之后，就会发一个通知说，一个Block的数据都传输完毕。**

这样DataNode就知道自己收到一个Block了，里面包含了人家发送过来的两个Packet数据包。

# 四、总结 #

OK，大家看完了上面的那个图以及Hadoop采取的大文件上传机制，是不是感觉设计的很巧妙？

说白了，工业级的大规模分布式系统，都不会采取特别简单的代码和模式，那样性能很低下。

这里都有大量的并发优化、网络IO优化、内存优化、磁盘读写优化的架构设计、生产方案在里面。

所以大家观察上面那个图，HDFS客户端可以快速的将tb级大文件的数据读出来，然后快速的交给HDFS的输出流写入内存。

基于内存里的**chunk缓冲机制、packet数据包机制、内存队列异步发送机制**。绝对不会有任何网络传输的卡顿，导致大文件的上传速度变慢。

反而通过上述几种机制，可以上百倍的提升一个TB级大文件的上传性能。

作者：石杉的架构笔记  
链接：https://juejin.im/post/6844903714797387783  
来源：掘金  
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

[Hadoop NameNode]: https://juejin.im/post/6844903713966915598
[200a7d3e923e0b7fffb8fa221049e03a.png]: /images/20221123/7df60f4d89d8414faa9bbbc309c8f5ce.png
[e6066223e4bca507604545cad5a29376.png]: /images/20221123/fe6d41e2a48748a9a305278be63e51e6.png
[784db80a47861ae25b3da058889794f9.png]: /images/20221123/5eb8e5cd5d584bc3a34d9b6be4bd679b.png

发表评论取消回复

表情：

评论列表（有 0 条评论，69人围观）

还没有评论，来说两句吧...

相关阅读

相关如何将本地文件上传到Gitee

1.对于已经创建好的gitee仓库项目，向仓库中上传文件 \进入到需要上传的项目目录，右键选择Git Bash Here 第一步：初始化项目，然后会生成.gi

短命女/ 2024年04月06日 12:24/ 0 赞/ 104 阅读

相关大文件上传时如何做到秒传？

![01cc18d1cca2159246832ced6941566e.png][] 文件上传是一个老生常谈的话题了，在文件相对比较小的情况下，可以直接把文件转化为字节流上传到

客官°小女子只卖身不卖艺/ 2023年09月28日 21:21/ 0 赞/ 4 阅读

相关大文件上传时如何做到秒传？

本文已经收录到Github仓库，该仓库包含计算机基础、Java基础、多线程、JVM、数据库、Redis、Spring、Mybatis、SpringMVC、SpringBoot、

客官°小女子只卖身不卖艺/ 2023年09月25日 19:47/ 0 赞/ 64 阅读

相关 Hadoop如何将TB级大文件的上传性能优化上百倍【三】

目录一、写在前面二、原始的文件上传方案三、大规模分布式系统对大文件上传的性能优化（1）Chunk缓冲机制（2）Packet数据包机制（3）内存队列异

素颜马尾好姑娘i/ 2022年12月11日 09:10/ 0 赞/ 70 阅读

相关 html5前端大文件上传,【分享】前端-大规格文件的上传优化

![eb1f48a4102b][] 0、前言在开发过程中，收到这样一个问题反馈，在网站上传 100 MB 以上的文件经常失败，重试也要等老半天，这就难为需要上传大规格文件

Bertha 。/ 2022年10月06日 10:52/ 0 赞/ 206 阅读

相关 Java三大框架之struts的上传文件出错信息配置（允许上传的类型，上传文件的大小，以及大文件上传说明等等）

Java中利用struts2框架进行文件上传，还可以设置一些出错信息，比如超过了自己设置文件的最大大小、文件的类型。第一点：设置文件的类型：设置允许的文件类型，假设是不

Bertha 。/ 2022年09月24日 04:25/ 0 赞/ 153 阅读

相关 android文件上传优化分享（切片上传）

我重点看的是切片上传的原理。原文链接：[https://www.jianshu.com/p/b4c453649d92][https_www.jianshu.com_p_b4

灰太狼/ 2022年05月17日 08:44/ 0 赞/ 349 阅读

相关三管齐下！TB级文件的上传性能瞬间被优化了100倍！

公众号后台回复“学习”，获取作者独家秘制精品资料 ![640?wx\_fmt=png][640_wx_fmt_png] 多年好友心血力作，阿里资深技术专家十

ゝ一世哀愁。/ 2021年12月04日 06:47/ 0 赞/ 83 阅读

相关 hadoop上传文件报错

19/06/06 16:09:26 INFO hdfs.DFSClient: Exception in createBlockOutputStream java

淩亂°似流年/ 2021年11月26日 19:36/ 0 赞/ 349 阅读

相关大规格文件的上传优化

整体思路第一步是结合项目背景，调研比较优化的解决方案。文件上传失败是老生常谈的问题，常用方案是将一个大文件切片成多个小文件，并行请求接口进行上传，所有请求得到响应后，

待我称王封你为后i/ 2021年08月29日 19:55/ 0 赞/ 356 阅读