Spark动态资源分配在yarn的配置

曾经终败给现在 2022-05-31 12:35 289阅读 0赞

配置文件  
$SPARK\_HOME/conf/spark-defaults.conf  
$HADOOP\_HOME/conf/yarn-site.xml  
1、启用动态资源分配功能  
在spark-defaults.conf 中添加  
spark.dynamicAllocation.enabled=true  
配置其他参数：  
spark.dynamicAllocation.minExecutors 最小executor数量  
spark.dynamicAllocation.maxExecutors 最大executor数量  
spark.dynamicAllocation.schedulerBacklogTimeout 任务待时间（超时便申请新资源)默认60秒  
spark.dynamicAllocation.sustainedSchedulerBacklogTimeout 再次请求等待时间，默认60秒  
spark.dynamicAllocation.executorIdleTimeout executor闲置时间（超过释放资源）默认600秒  
2、添加相应的jar包spark-<version>-yarn-shuffle.jar  
如果是自己编译的spark，可以在$SPARK\_HOME/network/yarn/target/scala-<version>下面找到  
是预编译的，直接在$SPARK\_HOME/lib/下面找到  
找到jar包后，将其添加到每个nodemanager的classpath下面  
3、配置yarn-site.xml文件添加  
<property>  
  <name>spark.shuffle.service.enabled</name>  
  <value>true</value>  
</property> <property>  
  <name>yarn.nodemanager.aux-services</name&g  t;  
  <value>spark\_shuffle</value>  
</property>  
<property>  
  <name>yarn.nodemanager.aux-services.spark\_shuffle.class</name>  
  <value>org.apache.spark.network.yarn.YarnShuffleService</value>  
</property>

发表评论取消回复

表情：

评论列表（有 0 条评论，289人围观）

还没有评论，来说两句吧...

相关阅读

相关 Ambari spark 开启动态资源分配

这几天研究资源分配的时候踩了不少坑,先做以下总结: 1.修改每台NodeManager上的yarn-site.xml：修改 <property>

青旅半醒/ 2023年06月15日 04:54/ 0 赞/ 22 阅读

相关 Spark On YARN内存分配

Spark On YARN内存分配时间 2015-06-09 00:00:00 [JavaChen's Blog][JavaChen_s Blog] 原文 [

「爱情、让人受尽委屈。」/ 2022年07月05日 15:09/ 0 赞/ 415 阅读

相关 Spark On YARN内存分配

[Spark On YARN内存分配][Spark On YARN] 原文地址： http://blog.javachen.com/2015/06/09/memory-in-

梦里梦外;/ 2022年06月18日 00:36/ 0 赞/ 243 阅读

相关 yarn 资源配置

转载： https://www.iteblog.com/archives/1945.html http://www.tuicool.com/articles/R

左手的ㄟ右手/ 2022年06月14日 00:14/ 0 赞/ 243 阅读

相关 Spark On YARN内存分配

说明按照Spark应用程序中的driver分布方式不同，Spark on YARN有两种模式： `yarn-client`模式、`yarn-cluster`模式。当

谁借莪１个温暖的怀抱￠/ 2022年06月05日 01:37/ 0 赞/ 219 阅读

相关 Spark on yarn的内存分配问题

问题描述在测试spark on yarn时，发现一些内存分配上的问题，具体如下。在$SPARK\_HOME/conf/spark-env.sh中配置如下参数

电玩女神/ 2022年06月04日 01:50/ 0 赞/ 216 阅读

相关 cdh yarn nodemanager 可用资源分配

![SouthEast][] yarn resourcemanager 的webUI上显示了当前集群可以的内存资源，这个内存可以配置的，修改yarn.nodemanage

小咪咪/ 2022年06月01日 07:37/ 0 赞/ 196 阅读

相关 Spark动态资源分配在yarn的配置

配置文件 $SPARK\_HOME/conf/spark-defaults.conf $HADOOP\_HOME/conf/yarn-site.xml 1、启用动态

曾经终败给现在/ 2022年05月31日 12:35/ 0 赞/ 290 阅读

相关 Spark系列--Spark On YARN 动态资源

一、Spark On YARN 动态资源利用Spark的动态资源机制可以增加队列的利用率，减少空置，占用的无效使用。原理：考虑如下场景：在Spark On

àì夳堔傛蜴生んèń/ 2022年05月18日 10:57/ 0 赞/ 268 阅读

相关 Spark On Yarn中Yarn分配资源的时候vcore怎么理解

Yarn在Spark On Yarn或者其他场景任何需要用到Yarn来提供计算资源的场景中为什么要用vcore这个概念代替physical core来分配cpu core的数量

柔情只为你懂/ 2022年03月08日 03:14/ 0 赞/ 559 阅读