spark常用的调参详解

雨点打透心脏的1/2处 2022-04-01 02:23 194阅读 0赞

###  1.在submit中设置 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTgwNDA0OQ_size_16_color_FFFFFF_t_70][]

在submit中设置注意后面的  \\

\--conf "spark.shuffle.blockTransferService=nio" \\   大数据集shuffle的时候，节点之间传输数据时使用netty 改为nio  
\--conf "spark.debug.maxToStringFields=500"  \\     字段的字符串太长了  
\--conf "spark.sql.broadcastTimeout=1200"  \\    广播等待超时时间，单位秒  
\--conf "spark.executor.extraJavaOptions=-XX:-UseGCOverheadLimit" \\  关闭限制GC的运行时间（默认启用 ）  
\--conf "spark.port.maxRetries=128" \\    Spark任务都会绑定一个端口来显示WebUI，默认端口为4040，如果被占用则依次递增+1端口重试，重试次数由参数spark.port.maxRetries=16控制，默认重试16次后就放弃执行

###  2.在代码中设置![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTgwNDA0OQ_size_16_color_FFFFFF_t_70 1][] ###

.config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") //使用kryo序列化的类库
    /*   .config("spark.shuffle.manager", "hash")//设置为hashShuffleManager
         .config("spark.shuffle.consolidateFiles", "true")//开启consolidate机制  这两个不能使用不知道怎么回事 */
    .config("spark.default.parallelism", "50") //设置并行度 根据所使用的core来算  是core的3--5倍
    .config("spark.shuffle.file.buffer", "64k") //设置map端内存缓冲区大小
    .config("spark.reducer.maxSizeInFlight", "96M") //设置reduce端拉取数据的大小
    .config("spark.shuffle.memoryFraction", "0.3") //reduce端聚合内存占比
    .config("spark.shuffle.io.maxRetries", "6") //最多拉取次数

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTgwNDA0OQ_size_16_color_FFFFFF_t_70]: /images/20220401/be0bacfbbfe24f9c9fc4d44bcf532c70.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTgwNDA0OQ_size_16_color_FFFFFF_t_70 1]: /images/20220401/9cfa50f6e00840d993c346870e9155cc.png