spark2-submit命令汇总

布满荆棘的人生 2023-02-25 07:13 9阅读 0赞

spark2-submit \\  
\--master yarn \\  
\--deploy-mode client --class cn.org.nifa.udcp.UdcpStart \\  
\--driver-class-path /disknas/udcp/stats/udcp-processing/conf/ \\  
\--num-executors 10 \\  
\--driver-memory 10g \\  
\--executor-memory 10g \\  
\--executor-cores 2 \\  
\--conf spark.debug.maxToStringFields=1000 \\  
\--conf spark.port.maxRetries=100 \\  
\--conf spark.driver.maxResultSize=10g \\  
\--conf spark.default.parallelism=20 \\  
\--conf spark.sql.shuffle.partitions=20 \\  
\--conf spark.executor.memoryOverhead=4G \\  
\--conf spark.driver.memoryOverhead=4G \\  
\--conf spark.storage.blockManagerTimeoutIntervalMs=100000 \\  
\--conf spark.shuffle.file.buffer=64k \\  
\--conf spark.reducer.maxSizeInFlight=96M \\  
\--conf spark.network.timeout=300s \\  
\--conf spark.rpc.askTimeout=300s \\  
\--conf spark.shuffle.io.serverThreads=8 \\  
\--conf spark.shuffle.service.enabled=true \\  
\--conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j.properties -Dconfig.resource=application.conf" \\  
/disknas/udcp/stats/udcp-processing/jar/udcp-processing-2.0-jar-with-dependencies.jar

需要参数，具体选择 。

发表评论取消回复

表情：

评论列表（有 0 条评论，9人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark命令笔录（2）-spark-submit

注意任务jar包如果采用集群模式cluster则需要在集群所有机器上都上传任务jar包 spark-submit \ --class com.cloud

小灰灰/ 2023年02月26日 05:26/ 0 赞/ 9 阅读

相关 spark2-submit命令汇总

spark2-submit \\ \--master yarn \\ \--deploy-mode client --class cn.org.nifa.udcp.Ud

布满荆棘的人生/ 2023年02月25日 07:13/ 0 赞/ 10 阅读

相关【Spark源码】spark-submit和Spark-class

首先从启动脚本开始看： bin/spark-submit \ --class org.apache.spark.examples.SparkPi \

爱被打了一巴掌/ 2022年11月12日 13:57/ 0 赞/ 232 阅读

相关 spark-submit

./bin/spark-submit \\ --class org.apache.spark.examples.SparkPi \\ --master spar

快来打我*/ 2022年08月07日 14:56/ 0 赞/ 133 阅读

相关 spark-submit工具参数说明

spark on yarn : job提交重要参数说明 spark-submit \--master yarn-cluster \\使用集群调度模式(一般使用这个参

港控/mmm°/ 2022年07月13日 02:09/ 0 赞/ 152 阅读

相关【PySpark学习笔记三】spark-submit命令详解

spark-submit命令利用可重用的模块形式编写脚本，并且以编程方式提交作业到Spark。 spark-submit命令 spark-submit命令提供一个统一的

电玩女神/ 2022年05月12日 15:18/ 0 赞/ 354 阅读

相关 spark job提交：spark-submit

一般化的参数： spark-submit \ --class a.HelloWord \ --name wordcount \ --mas

悠悠/ 2022年04月17日 00:21/ 0 赞/ 243 阅读

相关 spark1.6学习（三）——spark-submit

参考： [http://spark.apache.org/docs/1.6.0/submitting-applications.html\master-urls][http_s

你的名字/ 2022年04月13日 06:49/ 0 赞/ 188 阅读

相关 spark - spark-submit启动参数说明

启动参数 /bin/spark-submit \--master yarn-cluster \--num-executors 100 \--executor-

川长思鸟来/ 2022年03月11日 09:20/ 0 赞/ 285 阅读

相关 spark submit参数介绍

你可以通过spark-submit --help或者spark-shell --help来查看这些参数。使用格式: ./bin/spark-submit \\

川长思鸟来/ 2022年02月27日 15:16/ 0 赞/ 247 阅读