spark性能调优本地化等待时长

电玩女神 2022-05-18 22:13 169阅读 0赞

本地化级别：

1. 进程本地化

2. 节点本地化

3. 机架本地化

4. Any(都没有)

Spark在Driver上，对Application的每个stage的task，进行分配之前，都会计算出每个task要计算的是哪个分片数据，RDD的某个partition；Spark的task分配算法优先希望每个task正好分配到它要计算数据所在的节点，这样的话，就不用在网络间传输数据，

但是，通常来说，有时候，事与愿违，可能task没有机会分配到它的数据所在的节点，可能那个节点的计算资源和计算能力都满了，所以，这种时候，通常俩说，Spark会等待一段时间，默认情况下是3s（不是绝对的，还有很多情况，对不同本地化级别都会去等待），到最后，实在等待不了了，就会选择一个比较差的本地化级别，比如说，将task分配到靠它要计算的数据所在的节点，比较近的一个节点，然后计算

但是对于第二种情况，通常来说，肯定要发生数据传输，task会通过器所在节点的BlockManager来获取数据，BlockManager发现自己本地没有数据，会通过一个getRemote()方法，通过TransferService(网络传输组件)从数据所在接地那的BlockManager中，获取数据，通过网络传输回task所在节点。

对于我们来说，当然不希望类似第二种情况，最好的，当然是task和数据在一个节点上，直接从本地executor的BlockManager中获取数据，纯内存，或者带一点磁盘I/O；

我们什么时候要调节这个参数

要观察日志，spark作业的运行日志，在本地看到比较全的日志

日志里面会显示，starting task。。。这里会显示是什么级别

观察大部分task的数据本地化级别

如果大多都是PROCESS\_LOCAL，那就不用调节了

如果是发现，好多的级别都是NODE\_LOCAL、ANY,那么最好就去调节一下数据的等待时长、

调节完，应该是要反复调节，每次调节完以后，再来运行，观察日志

看看大部分的task的本地化级别有没有提升，看看，整个spark作业的运行时间有没有缩短

不要本地化级别倒是提升了，但是因为大量的等待时长，spark作业运行时间反而增加了，那就不要调节了

怎么调节

spark.locality.wait 默认是3s

set("spark.locality.wait","10")

发表评论取消回复

表情：

评论列表（有 0 条评论，169人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark 性能调优

Spark 性能调优 1.1 常规性能调优 1.1.1 常规性能调优一：最优资源配置　　Spark 性能调优的第一步，就是为任务分配更多的资源，在一定范...

古城微笑少年丶/ 2024年04月20日 09:13/ 0 赞/ 113 阅读

相关 spark性能调优

基础调优 1、提交参数可以设置executor数量，每个executor的内存/CPU核数，在资源允许的情况下越大越好，没有什么是加一台服务器解决不了的...

雨点打透心脏的1/2处/ 2024年04月19日 09:57/ 0 赞/ 128 阅读

相关 SPARK调优之本地化级别

Spark在Driver上对Application的每个task任务进行分配之前，都会先计算出每个task要计算的对应的数据分片的位置。Spark的task分配算法优先考虑将t

一时失言乱红尘/ 2023年08月17日 15:19/ 0 赞/ 116 阅读

相关五、Spark性能优化——调节本地化等待时长

val conf = new SparkConf() .set("spark.locality.wait", "6") Spark 作业运行过程中， Driv

墨蓝/ 2023年06月06日 03:52/ 0 赞/ 2 阅读

相关 Spark性能调优

Spark调优主要分为运行资源调优和代码调优 1.运行资源调优 [Spark性能优化：资源调优篇][Spark] [Spark性能调优：合理设置并行度][Spar

野性酷女/ 2022年10月16日 06:07/ 0 赞/ 343 阅读

相关 Spark性能调优之Shuffle调优

Spark性能调优之Shuffle调优 • Spark底层shuffle的传输方式是使用netty传输，netty在进行网络传输的过程会申请堆外内存（netty是零

客官°小女子只卖身不卖艺/ 2022年10月07日 05:43/ 0 赞/ 501 阅读

相关 Spark性能调优

Spark性能调优 [摘要：通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。][Link 1] 性能监控

客官°小女子只卖身不卖艺/ 2022年06月18日 02:08/ 0 赞/ 398 阅读

相关 Spark性能调优

文章转载：[http://gad.qq.com/article/detail/20239][http_gad.qq.com_article_detail_20239] 通常我

不念不忘少年蓝@/ 2022年06月07日 11:45/ 0 赞/ 459 阅读

相关 spark性能调优本地化等待时长

本地化级别： 1. 进程本地化 2. 节点本地化 3. 机架本地化 4. Any(都没有) Spark在Driver上，对Application的每个stage的ta

电玩女神/ 2022年05月18日 22:13/ 0 赞/ 170 阅读

相关 Spark性能调优——其他调优方法

一、提高并行度实际上Spark集群的资源并不一定会被充分利用到，所以要尽量设置合理的并行度，来充分地利用集群的资源。才能充分提高Spark应用程序的性能。

骑猪看日落/ 2021年09月14日 05:12/ 0 赞/ 673 阅读