Building Spark（重新构建编译Spark）

灰太狼 2023-06-19 09:51 20阅读 0赞

## Apache Maven ##

基于 Maven 的构建是 Apache Spark 的参考构建。使用 Maven 构建 Spark 需要 Maven 3.3.9或更新版本和 Java 7+。

> 注意，从Spark 2.0.0开始，对Java 7的支持就被废弃了，可能在Spark 2.2.0中被删除。

### Setting up Maven’s Memory Usage ###

你需要通过设置 MAVEN\_OPTS 来配置Maven来使用更多的内存：

export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

在使用 Java 7进行编译时，您需要向 MAVEN\_OPTS 添加附加选项“-XX:MaxPermSize=512M”。

如果您不将这些参数添加到 MAVEN\_OPTS 中，您可能会看到以下错误和警告：

[INFO] Compiling 203 Scala sources and 9 Java sources to /Users/me/Development/spark/core/target/scala-2.11/classes...
    [ERROR] PermGen space -> [Help 1]
    
    [INFO] Compiling 203 Scala sources and 9 Java sources to /Users/me/Development/spark/core/target/scala-2.11/classes...
    [ERROR] Java heap space -> [Help 1]
    
    [INFO] Compiling 233 Scala sources and 41 Java sources to /Users/me/Development/spark/sql/core/target/scala-{site.SCALA_BINARY_VERSION}/classes...
    OpenJDK 64-Bit Server VM warning: CodeCache is full. Compiler has been disabled.
    OpenJDK 64-Bit Server VM warning: Try increasing the code cache size using -XX:ReservedCodeCacheSize=

如前所述，可以通过设置 MAVEN\_OPTS 变量来修复这些问题。

**Note:**

*  如果使用未设置 MAVEN\_OPTS 的 build/mvn，脚本将自动将上述选项添加到 MAVEN\_OPTS 环境变量中。
 *  即使在不使用 build/mvn 的情况下，Spark 构建的测试阶段也会自动将这些选项添加到 MAVEN\_OPTS 中。
 *  当使用Java 8和build/mvn构建或运行测试时，你可能看到像这样的警告：“ignoring option MaxPermSize=1g; support was removed in 8.0”。这些警告可以忽略。

### build/mvn ###

Spark 现在附带了一个自包含的 Maven 安装，简化了从 build/目录下的源代码构建和部署 Spark 的过程。该脚本将在本地的build/目录中自动下载并设置所有必要的构建需求(Maven、Scala和Zinc)。但是，如果已经存在任何 mvn 二进制文件，那么它将使用自己的 Scala 和 Zinc 副本，以确保满足适当的版本要求。build/mvn 执行充当到 mvn 调用的通道，允许轻松地从以前的构建方法转换。举个例子，你可以建立一个版本的 spark 如下：

./build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package

其他构建示例可以在下面找到。

## 构建可运行的发行版 ##

要创建一个类似于Spark下载页面发布的Spark发行版，并将其布局为可运行，请在项目根目录中使用./dev/make-distribution.sh。它可以使用Maven配置文件设置等进行配置，比如直接以 Maven 构建。例子：

./dev/make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4 -Phive -Phive-thriftserver -Pmesos -Pyarn

有关使用的更多信息，请运行./dev/make-distribution.sh --help

## 指定Hadoop版本 ##

因为 HDFS 在不同的版本之间不是协议兼容的，如果您想从 HDFS 读取数据，那么您需要针对环境中的特定 HDFS 版本构建Spark。您可以通过 hadoop.version 实现这一点。如果未设置，Spark 将默认针对 Hadoop 2.2.0构建。注意，特定的 Hadoop 版本需要特定的构建配置文件：

<table> 
 <thead> 
  <tr> 
   <th>Hadoop version</th> 
   <th>Profile required</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>2.2.x</td> 
   <td>hadoop-2.2</td> 
  </tr> 
  <tr> 
   <td>2.3.x</td> 
   <td>hadoop-2.3</td> 
  </tr> 
  <tr> 
   <td>2.4.x</td> 
   <td>hadoop-2.4</td> 
  </tr> 
  <tr> 
   <td>2.6.x</td> 
   <td>hadoop-2.6</td> 
  </tr> 
  <tr> 
   <td>2.7.x and later 2.x</td> 
   <td>hadoop-2.7</td> 
  </tr> 
 </tbody> 
</table>

> 注意，在 Spark 2.1.0中已经不支持2.6之前的 Hadoop 版本，在 Spark 2.2.0中可能会删除。

你可以启用 yarn 的配置文件设置 yarn.version，如果 hadoop.version 的版本不同。Saprk 支持 yarn 2.2.0 及以上的版本。

例如：

# Apache Hadoop 2.2.X
    ./build/mvn -Pyarn -Phadoop-2.2 -DskipTests clean package
    
    # Apache Hadoop 2.3.X
    ./build/mvn -Pyarn -Phadoop-2.3 -Dhadoop.version=2.3.0 -DskipTests clean package
    
    # Apache Hadoop 2.4.X or 2.5.X
    ./build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -DskipTests clean package
    
    # Apache Hadoop 2.6.X
    ./build/mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -DskipTests clean package
    
    # Apache Hadoop 2.7.X and later
    ./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.0 -DskipTests clean package
    
    # Different versions of HDFS and YARN.
    ./build/mvn -Pyarn -Phadoop-2.3 -Dhadoop.version=2.3.0 -Dyarn.version=2.2.0 -DskipTests clean package

## 使用Hive和JDBC支持构建 ##

要为 Spark SQL 及其 JDBC 服务器和 CLI 启用 Hive 集成，请将 -Phive 和 Phive-thriftserver 配置文件添加到现有的构建选项中。默认情况下，Spark 将使用 Hive 1.2.1绑定构建。

# Apache Hadoop 2.4.X with Hive 1.2.1 support
    ./build/mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -Phive-thriftserver -DskipTests clean package

## 不依赖Hadoop打包纱线 ##

默认情况下，mvn 包生成的汇编目录将包括 Spark 的所有依赖项，包括 Hadoop 和它的一些生态系统项目。在部署 yarn 时，这会导致多个版本的代码出现在 executor 类路径上：打包在Spark程序集中的版本和每个节点上的版本，包括在 yarn.application.classpath中。

Hadoop 提供的配置文件构建了集合，但没有包括 Hadoop 生态系统项目，比如ZooKeeper和Hadoop本身。

## 使用Mesos支持进行构建 ##

./build/mvn -Pmesos -DskipTests clean package

## Building for Scala 2.10 ##

要生成用Scala 2.10编译的Spark包，请使用-Dscala-2.10属性：

./dev/change-scala-version.sh 2.10
    ./build/mvn -Pyarn -Phadoop-2.4 -Dscala-2.10 -DskipTests clean package

请注意，从 Spark 2.1.0开始就不支持 Scala 2.10，在 Spark 2.2.0中可能会删除它。

## 分别构建子组件 ##

可以使用mvn -pl选项构建Spark子模块。

例如，你可以构建Spark流模块：

./build/mvn -pl :spark-streaming_2.11 clean install

其中 spark-streaming\_2.11 是流/pom.xml文件中定义的 artifactId。

## 持续编译 ##

我们使用scala-maven-plugin，它支持增量和连续编译。如：

./build/mvn scala:cc

应该运行连续编译(即等待更改)。然而，这还没有经过充分的测试。以下是需要注意的几个问题：

*  它只扫描src/main和src/test路径(请参阅文档)，因此它只在具有该结构的特定子模块中运行。
 *  您通常需要从项目根目录运行 mvn 安装，以便在特定的子模块中进行编译;这是因为依赖于其他子模块的子模块是通过 spark-parent 模块实现的)。

因此，运行核心子模块的连续编译的完整流程可能看起来更像：

$ ./build/mvn install
    $ cd core
    $ ../build/mvn scala:cc

## 加快Zinc 的编译 ##

Zinc 是 SBT 增量编译器的一个长时间运行的服务器版本。当作为后台进程在本地运行时，它会加速基于 scala 的项目(如Spark)的构建。经常使用 Maven 重新编译Spark的开发人员将对Zinc最感兴趣。项目现场提供 Zinc 的建造和使用说明；OS X用户可以使用 brew install zinc 来安装它。

如果使用 build/mvn包，Zinc 将自动下载并用于所有构建。除非设置了 ZINC\_PORT 环境变量，否则该进程将在第一次调用 build/mvn 后自动启动并绑定到3030端口。随后，可以通过运行 build/zinc-<version>/bin/zinc -shutdown随时关闭zinc进程，并在调用 build/mvn 时自动重启。

## 通过SBT构建 ##

Maven 是打包 Spark 推荐的官方构建工具，是参考的构建。但是SBT支持日常开发，因为它可以提供更快的迭代编译。更高级的开发人员可能希望使用SBT。

SBT构建源自Maven POM文件，因此可以设置相同的Maven配置文件和变量来控制SBT构建。例如：

./build/sbt -Pyarn -Phadoop-2.3 package

为了避免每次需要重新编译时启动sbt的开销，可以通过运行 build/sbt 在交互模式下启动sbt，然后在命令提示符下运行所有构建命令。

## 加密文件系统 ##

在加密的文件系统上构建时(例如，如果您的主目录是加密的)，那么 Spark 构建可能会失败，出现“Filename too long”错误。作为一种变通方法，在project pom.xml中的 scala-maven-plugin 配置参数中添加以下内容：

<arg>-Xmax-classfile-name</arg>
    <arg>128</arg>

在 `project/SparkBuild.scala 中添加：`

scalacOptions in Compile ++= Seq("-Xmax-classfile-name", "128"),

## IntelliJ IDEA or Eclipse ##

[http://spark.apache.org/developer-tools.html][http_spark.apache.org_developer-tools.html]

# Running Tests #

测试默认通过 ScalaTest Maven 插件运行。

> 注意，测试不应该作为根用户或管理用户运行。

下面是一个运行测试的命令示例：

./build/mvn -Pyarn -Phadoop-2.3 -Phive -Phive-thriftserver test

ScalaTest插件还支持只运行特定的Scala测试套件，如下所示：

./build/mvn -P... -Dtest=none -DwildcardSuites=org.apache.spark.repl.ReplSuite test
    ./build/mvn -P... -Dtest=none -DwildcardSuites=org.apache.spark.repl.* test

或者 java

./build/mvn test -P... -DwildcardSuites=none -Dtest=org.apache.spark.streaming.JavaAPISuite

## Testing with SBT ##

下面是一个运行测试的命令示例：

./build/sbt -Pyarn -Phadoop-2.3 -Phive -Phive-thriftserver test

只运行一个特定的测试套件，如下：

./build/sbt -Pyarn -Phadoop-2.3 -Phive -Phive-thriftserver "test-only org.apache.spark.repl.ReplSuite"
    ./build/sbt -Pyarn -Phadoop-2.3 -Phive -Phive-thriftserver "test-only org.apache.spark.repl.*"

运行测试套件的具体子项目如下：

./build/sbt -Pyarn -Phadoop-2.3 -Phive -Phive-thriftserver core/test

## 运行Java 8测试套件 ##

只运行Java 8测试，其他什么都不运行。

./build/mvn install -DskipTests
    ./build/mvn -pl :java8-tests_2.11 test

或者

./build/sbt java8-tests/test

当检测到 Java 8 JDK时，将自动启用 Java 8测试。如果安装了 JDK 8，但它不是系统默认设置，那么可以将 JAVA\_HOME 设置为在运行测试之前指向 JDK 8。

## PySpark pip安装 ##

如果您正在构建用于Python环境的Spark，并且希望pip安装它，那么首先需要像上面描述的那样构建Spark jar。然后您可以构造一个适合setup.py和pip可安装包的sdist包。

cd python; python setup.py sdist

> 注意:由于打包要求，您不能直接从Python目录进行pip安装，而是必须首先按照上面所述构建sdist包。

## 使用Maven进行PySpark测试 ##

如果您正在构建 PySpark，并希望运行 PySpark 测试，您将需要构建支持 Hive 的 Spark。

./build/mvn -DskipTests clean package -Phive
    ./python/run-tests

运行测试脚本也可以限制在特定的Python版本或特定的模块中

./python/run-tests --python-executables=python --modules=pyspark-sql

> 注意:您还可以使用sbt构建运行Python测试，前提是您使用Hive支持构建Spark。

## 运行R测试 ##

要运行 SparkR 测试，您需要安装R包testthat(从R shell运行install.packages(testthat))。你可以使用以下命令运行SparkR测试:

./R/run-tests.sh

## 运行基于docker的集成测试套件 ##

为了运行 Docker 集成测试，您必须在机器上安装 Docker 引擎。安装说明可以在 Docker 站点找到。安装之后，如果还没有运行docker服务，则需要启动它。在Linux上，这可以由sudo服务docker start完成。

./build/mvn install -DskipTests
    ./build/mvn test -Pdocker-integration-tests -pl :spark-docker-integration-tests_2.11

或者

./build/sbt docker-integration-tests/test

原文地址：[http://spark.apache.org/docs/2.1.1/building-spark.html][http_spark.apache.org_docs_2.1.1_building-spark.html]

[http_spark.apache.org_developer-tools.html]: http://spark.apache.org/developer-tools.html
[http_spark.apache.org_docs_2.1.1_building-spark.html]: http://spark.apache.org/docs/2.1.1/building-spark.html