Spark - Spark中各个角色的JVM参数设置

野性酷女 2022-03-06 01:06 622阅读 0赞

> ### Driver的JVM参数 ###

**-Xmx，-Xms**  
**yarn-client模式 ：**则默认读取**spark-env**文件中的SPARK\_DRIVER\_MEMORY值，-Xmx，-Xms值一样大小；  
**yarn-cluster模式** ：则读取的是**spark-default.conf**文件中的**spark.driver.extraJavaOptions**对应的JVM参数值。

**PermSize**  
**yarn-client模式 ：**则是默认读取**spark-env**文件中的JAVA\_OPTS="-XX:MaxPermSize=256m $OUR\_JAVA\_OPTS"值；  
**yarn-cluster模式** ：读取的是**spark-default.conf**文件中的spark.driver.extraJavaOptions对应的JVM参数值。

**GC方式**  
**yarn-client模式 ：**默认读取的是**spark-env**文件中的JAVA\_OPTS；  
**yarn-cluster模式** ：则读取的是**spark-default.conf**文件中的**spark.driver.extraJavaOptions**对应的参数值。

以上值最后均可被spark-submit工具中的--driver-java-options参数覆盖。

> ### Executor的JVM参数 ###

**-Xmx，-Xms**  
**yarn-client模式 ：**则默认读取spark-env文件中的SPARK\_EXECUTOR\_MEMORY值，-Xmx，-Xms值一样大小；  
**yarn-cluster模式** ：则读取的是spark-default.conf文件中的spark.executor.extraJavaOptions对应的JVM参数值。

**PermSize**  
两种模式都是读取的是spark-default.conf文件中的**spark.executor.extraJavaOptions**对应的JVM参数值。

**GC方式**  
两种模式都是读取的是spark-default.conf文件中的**spark.executor.extraJavaOptions**对应的JVM参数值。

> ### Executor数目及所占CPU个数 ###

**yarn-client模式 ：**Executor数目由spark-env中的SPARK\_EXECUTOR\_INSTANCES指定，每个实例的数目由SPARK\_EXECUTOR\_CORES指定；  
**yarn-cluster模式** ：Executor的数目由spark-submit工具的--num-executors参数指定，默认是2个实例，而每个Executor使用的CPU数目由--executor-cores指定，默认为1核。