Spark配置参数

ゝ一纸荒年。 2022-09-30 12:52 190阅读 0赞

以下是整理的Spark中的一些配置参数，官方文档请参考[Spark Configuration][]。

Spark提供三个位置用来配置系统：

*  Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置
 *  环境变量：可以通过每个节点的` conf/spark-env.sh`脚本设置。例如IP地址、端口等信息
 *  日志配置：可以通过log4j.properties配置

# Spark属性 #

Spark属性控制大部分的应用程序设置，并且为每个应用程序分别配置它。这些属性可以直接在[SparkConf][]上配置，然后传递给`SparkContext`。`SparkConf` 允许你配置一些通用的属性（如master URL、应用程序名称等等）以及通过`set()`方法设置的任意键值对。例如，我们可以用如下方式创建一个拥有两个线程的应用程序。

val conf = new SparkConf()
                 .setMaster("local[2]")
                 .setAppName("CountingSheep")
                 .set("spark.executor.memory", "1g")
    val sc = new SparkContext(conf)

## 动态加载Spark属性 ##

在一些情况下，你可能想在`SparkConf`中避免硬编码确定的配置。例如，你想用不同的master或者不同的内存数运行相同的应用程序。Spark允许你简单地创建一个空conf。

val sc = new SparkContext(new SparkConf())

然后你在运行时设置变量：

./bin/spark-submit --name "My app" --master local[4] --conf spark.shuffle.spill=false
      --conf "spark.executor.extraJavaOptions=-XX:+PrintGCDetails -XX:+PrintGCTimeStamps" myApp.jar

Spark shell和`spark-submit`工具支持两种方式动态加载配置。第一种方式是命令行选项，例如`--master`，如上面shell显示的那样。`spark-submit`可以接受任何Spark属性，用`--conf`参数表示。但是那些参与Spark应用程序启动的属性要用特定的参数表示。运行`./bin/spark-submit --help`将会显示选项的整个列表。

`bin/spark-submit`也会从`conf/spark-defaults.conf`中读取配置选项，这个配置文件中，每一行都包含一对以`空格`或者`等号`分开的键和值。例如：

spark.master            spark://5.6.7.8:7077
    spark.executor.memory   512m
    spark.eventLog.enabled  true
    spark.serializer        org.apache.spark.serializer.KryoSerializer

任何标签指定的值或者在配置文件中的值将会传递给应用程序，并且通过`SparkConf`合并这些值。在`SparkConf`上设置的属性具有最高的优先级，其次是传递给`spark-submit`或者`spark-shell`的属性值，最后是`spark-defaults.conf`文件中的属性值。

优先级顺序：

SparkConf > CLI > spark-defaults.conf

## 查看Spark属性 ##

在`http://<driver>:4040`上的应用程序Web UI在`Environment`标签中列出了所有的Spark属性。这对你确保设置的属性的正确性是很有用的。

注意：`只有通过spark-defaults.conf, SparkConf以及命令行直接指定的值才会显示`。对于其它的配置属性，你可以认为程序用到了默认的值。

## 可用的属性 ##

控制内部设置的大部分属性都有合理的默认值，一些最通用的选项设置如下：

### 应用程序属性 ###

### 运行环境 ###

<table style="border-spacing:0px; border-collapse:collapse; margin-bottom:20px; max-width:100%; font-size:13px; color:rgb(51,51,51); font-family:Consolas,monaco,&quot;Helvetica Neue&quot;,Helvetica,Arial,&quot;Hiragino Sans GB&quot;,&quot;Microsoft YaHei&quot;,微软雅黑,STHeiti,&quot;WenQuanYi Micro Hei&quot;,sans-serif"> 
 <thead style=""> 
  <tr style=""> 
   <th style="padding:6px; text-align:left; border-width:2px 1px 2px; border-style:solid solid solid; border-top-color:initial; vertical-align:bottom"> 属性名称</th> 
   <th style="padding:6px; text-align:left; border-width:2px 1px 2px; border-style:solid solid solid; border-top-color:initial; vertical-align:bottom"> 默认值</th> 
   <th style="padding:6px; text-align:left; border-width:2px 1px 2px; border-style:solid solid solid; border-top-color:initial; vertical-align:bottom"> 含义</th> 
  </tr> 
 </thead> 
 <tbody style=""> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.driver.extraClassPath</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">(none)</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">附加到driver的classpath的额外的classpath实体。</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.driver.extraJavaOptions</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">(none)</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">传递给driver的JVM选项字符串。例如GC设置或者其它日志设置。注意，<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">在这个选项中设置Spark属性或者堆大小是不合法的</code>。Spark属性需要用<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">--driver-class-path</code>设置。</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.driver.extraLibraryPath</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">(none)</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">指定启动driver的JVM时用到的库路径</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.driver.userClassPathFirst</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">false</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">(实验性)当在driver中加载类时，是否用户添加的jar比Spark自己的jar优先级高。这个属性可以降低Spark依赖和用户依赖的冲突。它现在还是一个实验性的特征。</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.executor.extraClassPath</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">(none)</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">附加到executors的classpath的额外的classpath实体。这个设置存在的主要目的是Spark与旧版本的向后兼容问题。用户一般不用设置这个选项</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.executor.extraJavaOptions</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">(none)</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">传递给executors的JVM选项字符串。例如GC设置或者其它日志设置。注意，<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">在这个选项中设置Spark属性或者堆大小是不合法的</code>。Spark属性需要用SparkConf对象或者<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">spark-submit</code>脚本用到的<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">spark-defaults.conf</code>文件设置。堆内存可以通过<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">spark.executor.memory</code>设置</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.executor.extraLibraryPath</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">(none)</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">指定启动executor的JVM时用到的库路径</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.executor.logs.rolling.maxRetainedFiles</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">(none)</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">设置被系统保留的最近滚动日志文件的数量。更老的日志文件将被删除。默认没有开启。</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.executor.logs.rolling.size.maxBytes</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">(none)</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">executor日志的最大滚动大小。默认情况下没有开启。值设置为字节</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.executor.logs.rolling.strategy</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">(none)</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">设置executor日志的滚动(rolling)策略。默认情况下没有开启。可以配置为<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">time</code>和<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">size</code>。对于<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">time</code>，用<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">spark.executor.logs.rolling.time.interval</code>设置滚动间隔；对于<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">size</code>，用<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">spark.executor.logs.rolling.size.maxBytes</code>设置最大的滚动大小</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.executor.logs.rolling.time.interval</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">daily</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">executor日志滚动的时间间隔。默认情况下没有开启。合法的值是<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">daily</code>,&nbsp;<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">hourly</code>,&nbsp;<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">minutely</code>以及任意的秒。</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.files.userClassPathFirst</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">false</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">(实验性)当在Executors中加载类时，是否用户添加的jar比Spark自己的jar优先级高。这个属性可以降低Spark依赖和用户依赖的冲突。它现在还是一个实验性的特征。</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.python.worker.memory</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">512m</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">在聚合期间，每个python worker进程使用的内存数。在聚合期间，如果内存超过了这个限制，它将会将数据塞进磁盘中</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.python.profile</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">false</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">在Python worker中开启profiling。通过<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">sc.show_profiles()</code>展示分析结果。或者在driver退出前展示分析结果。可以通过<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">sc.dump_profiles(path)</code>将结果dump到磁盘中。如果一些分析结果已经手动展示，那么在driver退出前，它们再不会自动展示</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.python.profile.dump</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">(none)</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">driver退出前保存分析结果的dump文件的目录。每个RDD都会分别dump一个文件。可以通过<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">ptats.Stats()</code>加载这些文件。如果指定了这个属性，分析结果不会自动展示</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.python.worker.reuse</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">true</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">是否重用python worker。如果是，它将使用固定数量的Python workers，而不需要为每个任务<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">fork()</code>一个Python进程。如果有一个非常大的广播，这个设置将非常有用。因为，广播不需要为每个任务从JVM到Python worker传递一次</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.executorEnv.[EnvironmentVariableName]</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">(none)</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">通过<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">EnvironmentVariableName</code>添加指定的环境变量到executor进程。用户可以指定多个<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">EnvironmentVariableName</code>，设置多个环境变量</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.mesos.executor.home</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">driver side SPARK_HOME</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">设置安装在Mesos的executor上的Spark的目录。默认情况下，executors将使用driver的Spark本地（home）目录，这个目录对它们不可见。注意，如果没有通过<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">&nbsp;spark.executor.uri</code>指定Spark的二进制包，这个设置才起作用</td> 
  </tr> 
  <tr style=""> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">spark.mesos.executor.memoryOverhead</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">executor memory * 0.07, 最小384m</td> 
   <td style="padding:6px; border:1px solid; vertical-align:middle">这个值是<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">spark.executor.memory</code>的补充。它用来计算mesos任务的总内存。另外，有一个7%的硬编码设置。最后的值将选择<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">spark.mesos.executor.memoryOverhead</code>或者<code style="font-family:Menlo,Monaco,Consolas,&quot;Courier New&quot;,monospace; padding:2px 4px; color:rgb(199,37,78); background-color:rgb(249,242,244)">spark.executor.memory</code>的7%二者之间的大者</td> 
  </tr> 
 </tbody> 
</table>

### Shuffle行为 ###

### Spark UI ###

### 压缩和序列化 ###

### 运行时行为 ###

### 网络 ###

### 调度相关属性 ###

### Dynamic Allocation ###

### 安全 ###

### 加密 ###

### Spark Streaming ###

### 集群管理 ###

#### Spark On YARN ####

### Spark on Mesos ###

使用较少，参考[Running Spark on Mesos][]。

### Spark Standalone Mode ###

参考[Spark Standalone Mode][]。

### Spark History Server ###

当你运行Spark Standalone Mode或者Spark on Mesos模式时，你可以通过Spark History Server来查看job运行情况。

Spark History Server的环境变量：

Spark History Server的属性：

## 环境变量 ##

通过环境变量配置确定的Spark设置。环境变量从Spark安装目录下的`conf/spark-env.sh`脚本读取（或者windows的`conf/spark-env.cmd`）。在独立的或者Mesos模式下，这个文件可以给机器确定的信息，如主机名。当运行本地应用程序或者提交脚本时，它也起作用。

注意，当Spark安装时，`conf/spark-env.sh`默认是不存在的。你可以复制`conf/spark-env.sh.template`创建它。

可以在`spark-env.sh`中设置如下变量：

除了以上这些，Spark [standalone cluster scripts][]也可以设置一些选项。例如每台机器使用的核数以及最大内存。

因为`spark-env.sh`是shell脚本，其中的一些可以以编程方式设置。例如，你可以通过特定的网络接口计算`SPARK_LOCAL_IP`。

## 配置日志 ##

Spark用[log4j][] logging。你可以通过在conf目录下添加`log4j.properties`文件来配置。一种方法是复制`log4j.properties.template`文件。

原创文章，转载请注明： 转载自 [JavaChen Blog][]，作者： [JavaChen][]  
本文链接地址： [http://blog.javachen.com/2015/06/07/spark-configuration.html][http_blog.javachen.com_2015_06_07_spark-configuration.html]  
本文基于 [署名2.5中国大陆许可协议][2.5]发布，欢迎转载、演绎或用于商业目的，但是必须保留本文署名和文章链接。 如您有任何疑问或者授权方面的协商，请邮件联系我。

[Spark Configuration]: https://spark.apache.org/docs/latest/configuration.html
[SparkConf]: http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.SparkConf
[Running Spark on Mesos]: https://spark.apache.org/docs/latest/running-on-mesos.html#configuration
[Spark Standalone Mode]: https://spark.apache.org/docs/latest/spark-standalone.html#cluster-launch-scripts
[standalone cluster scripts]: http://spark.apache.org/docs/latest/spark-standalone.html#cluster-launch-scripts
[log4j]: http://logging.apache.org/log4j/
[JavaChen Blog]: http://blog.javachen.com/
[JavaChen]: http://blog.javachen.com/about.html
[http_blog.javachen.com_2015_06_07_spark-configuration.html]: http://blog.javachen.com/2015/06/07/spark-configuration.html
[2.5]: http://creativecommons.org/licenses/by/2.5/cn/