spark-submit时上传spark依赖到hdfs时间较长问题解决

冷不防 2022-04-03 13:50 296阅读 0赞

spark-submit时，发现上传spark依赖到hdfs 时间长达数分钟，现象如下方截图：

![image2018-12-21_17-31-50.png_version_1_modificationDate_1545384721000_api_v2][]

这个日志之后在上传程序依赖的jar，根据不同网络负荷，需要耗时数十秒甚至数分钟，导致任务提交速度超级慢，在官网上查到出现这种现象的原因：[https://spark.apache.org/docs/2.1.1/running-on-yarn.html][https_spark.apache.org_docs_2.1.1_running-on-yarn.html]

![image2018-12-21_17-53-27.png_version_1_modificationDate_1545386018000_api_v2][]

翻译过来就是： 要想在yarn spark的runtime jars，需要指定spark.yarn.archive 或者 spark.yarn.jars。如果都这两个参数都没有指定，spark就会把$SPARK\_HOME/jars/所有的jar上传到分布式缓存中

下面是解决方案：

1.  将$SPARK\_HOME/jars/\* 下spark运行依赖的jar上传到hdfs上  
    hdfs dfs -mkdir /tmp/spark/lib\_jars  
    hadoop fs -put $SPARK\_HOME/jars/\* hdfs:///tmp/spark/lib\_jars
2.   $SPARK\_HOME/conf/spark-defaults.conf， 增加 如下信息：  
     spark.yarn.jars hdfs:///tmp/spark/lib\_jars/\*.jar

[image2018-12-21_17-31-50.png_version_1_modificationDate_1545384721000_api_v2]: /images/20220403/26fc5daab70e4d4f98b11e99efe6efe2.png
[https_spark.apache.org_docs_2.1.1_running-on-yarn.html]: https://spark.apache.org/docs/2.1.1/running-on-yarn.html
[image2018-12-21_17-53-27.png_version_1_modificationDate_1545386018000_api_v2]: /images/20220403/5acdca6372b945808a27d0c69c03dd37.png

发表评论取消回复

表情：

评论列表（有 0 条评论，296人围观）

还没有评论，来说两句吧...

相关阅读

相关解决HDFS NameNode启动时Loading edits时间超长的问题（NameNode数据同步机制介绍）

背景有个好久好久没怎么维护的Hadoop集群，一直在提供服务，也做了HA，由于某些原因要对HDFS做重启，重启前检查了遍服务，发现另一个NameNode已经挂了有一段时

我就是我/ 2023年10月03日 02:48/ 0 赞/ 11 阅读

相关 spark上传文件和追加文件到hdfs

一、代码实现 package com.xtd.hdfs import java.io.File import org.apac

男娘i/ 2023年02月21日 11:56/ 0 赞/ 23 阅读

相关解决spark-shell启动，hdfs权限问题

解决spark-shell启动，hdfs权限问题环境问题尝试创建创建文件夹环境 cdh6.3.2 问题在启动spark

深藏阁楼爱情的钟/ 2022年12月18日 13:53/ 0 赞/ 276 阅读

相关页面加载时较长时间空白的可能原因

客户端方向 1.JavaScript异常在头部加载js会阻塞页面渲染。资源的加载顺序决定页面逻辑是否能正常执行。 2.客户端请求异常

拼搏现实的明天。/ 2022年10月01日 06:53/ 0 赞/ 263 阅读

相关 java上传文件到HDFS

java上传本地文件到HDFS。 1、pom依赖 <dependency> <groupId>org.apache.hadoop</groupId

拼搏现实的明天。/ 2022年07月15日 08:26/ 0 赞/ 276 阅读

相关 shell脚本定期上传日志到hdfs上

shell脚本定期上传日志到hdfs上逻辑控制shell脚本如下： !/bin/bash 设置java环境变量 export JAVA_HOM

我就是我/ 2022年06月13日 14:07/ 0 赞/ 325 阅读

相关 maven上传依赖到私服

maven配置在setting文件`servers`节点中添加私服账号信息。 <server> <id>xxx-release</id>

小鱼儿/ 2022年06月05日 06:09/ 0 赞/ 352 阅读

相关 spark-submit时上传spark依赖到hdfs时间较长问题解决

spark-submit时，发现上传spark依赖到hdfs 时间长达数分钟，现象如下方截图： ![image2018-12-21_17-31-50.png_version_

冷不防/ 2022年04月03日 13:50/ 0 赞/ 297 阅读

相关 spark-submit上传jar包时间较长的解决

出现的场景：在spark-submit提交Spark作业时，发现上传Spark依赖到hdfs时间长达数分钟。这个日志之后在上传程序依赖的jar，根据不同网络负荷，需

ゝ一纸荒年。/ 2022年01月30日 23:37/ 0 赞/ 305 阅读

相关上传文件到HDFS方式

hadoop计算需要在hdfs文件系统上进行，因此每次计算之前必须把需要用到的文件(我们称为原始文件)都上传到hdfs上。文件上传到hdfs上通常有三种方法：

柔情只为你懂/ 2021年06月24日 14:00/ 0 赞/ 859 阅读