spark源码系列文章------shuffle模块详解

不念不忘少年蓝@ 2022-06-12 09:11 184阅读 0赞

[原文链接][Link 1]

摘要： 一、Basic shuffle writer实现解析 在Executor上执行shuffle Map Task时，最终会调用shuffleMapTask的runTask，核心逻辑如下： 1.从sparkEnv中获得shuffleManager； 2.

一、Basic shuffle writer实现解析

在Executor上执行shuffle Map Task时，最终会调用shuffleMapTask的runTask，核心逻辑如下：

1.从sparkEnv中获得shuffleManager；

2.从manager中获得writer

3.调用RDD开始计算，运算结果通过writer进行持久化，持久化之前通过Aggregator来确定是否需要进行Map端聚合，然后将结果通过FileShuffleManager\#forMapTask的方法写入，写入完成后，会将元数据信息写入MapStatus，然后下游的Task可以通过这个MapStatus取得需要处理的数据。

这样writer通过ShuffleDependency\#partitioner来获得下游partition的数量，下游的每个partition都会对应一个文件，文件名字的格式为：“shuffle\_”+shuffledId+"\_"+mapId+"\_"+reduceId。

由于每个shuffle Map Task需要为每个下游的Task创建一个单独的文件，因此文件的数量就是number(shuffle\_map\_task)\*number(following\_task)。这样会导致创建和打开许多文件。

后来spark又引入Shuffle Consolidate Writer，原理是core上的第一个Task创建一个文件，该core上的后面的Task的shuffle操作都追加写入改文件，这样文件数量number(core)\*number(following\_task)  。

//todo

![Center][]

[原文链接][Link 1]

[Link 1]: http://click.aliyun.com/m/26374/
[Center]: /images/20220612/47a7682c67d041afa7da747026b95861.png

发表评论取消回复

表情：

评论列表（有 0 条评论，184人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark Shuffle详解剖析

HashShuffle 一：概述所谓Shuffle就是将不同节点上相同的Key拉取到一个节点的过程。这之中涉及到各种IO，所以执行时间势必会较长，Spark的Shuf

深碍√TFBOYSˉ_/ 2024年02月19日 18:29/ 0 赞/ 56 阅读

相关 Spark Shuffle

1：老版本介绍，温故知新 [Spark的Shuffle的四种机制以及参数调优\_qichangjian的博客-CSDN博客\_spark.shuffle.file.buffe

迈不过友情╰/ 2023年10月01日 17:33/ 0 赞/ 19 阅读

相关 Spark Shuffle原理详解

目录（1）Shuffle概述（2）Hash Shuffle机制（2.1）Hash Shuffle概述

「爱情、让人受尽委屈。」/ 2023年01月22日 06:49/ 0 赞/ 33 阅读

相关一篇文章了解 Spark Shuffle 内存使用

> 在使用 Spark 进行计算时，我们经常会碰到作业 (Job) Out Of Memory(OOM) 的情况，而且很大一部分情况是发生在 Shuffle 阶段。那么在 Sp

Bertha 。/ 2022年12月10日 03:37/ 0 赞/ 167 阅读

相关 Spark内核Shuffle流程及源码

Spark内核Shuffle流程及源码目录 Spark内核Shuffle流程及源码一、Shuffle的原理和执行过程二、Has

痛定思痛。/ 2022年11月03日 11:45/ 0 赞/ 214 阅读

相关 Spark Shuffle机制-源码实现

. 一 .前言二 .Shuffle Write框架设计和实现 2.1. BypassMergeSortShuffleWriter

小咪咪/ 2022年10月12日 12:16/ 0 赞/ 186 阅读

相关 Spark源码系列之Spark内核——Shuffle

在Hadoop中有一个阶段——Shuffle，Shuffle存在于Map和Reduce之间。同样在Spark中也存在Shuffle，而且Shuffle影响着Job的性能。尽管S

约定不等于承诺〃/ 2022年08月19日 08:24/ 0 赞/ 24 阅读

相关 Spark源码系列之Spark内核——Storage模块

1.Storage模块架构 Storage模块分为两部分： 1. 通信层：Storage模块的通信层通过Master/Slave模型实现的。Master和Sla

系统管理员/ 2022年08月19日 04:55/ 0 赞/ 243 阅读

相关 spark源码系列文章------shuffle模块详解

[原文链接][Link 1] 摘要：一、Basic shuffle writer实现解析在Executor上执行shuffle Map Task时，最终会调用shuffl

不念不忘少年蓝@/ 2022年06月12日 09:11/ 0 赞/ 185 阅读

相关 [大数据] Spark Shuffle详解

Shuffle简介 Shuffle描述着数据从map task输出到reduce task输入的这段过程。shuffle是连接Map和Reduce之间的桥梁，Map的输出要用

我不是女神ヾ/ 2022年05月17日 07:25/ 0 赞/ 213 阅读