Spark (三) --------- Spark 运行环境

水深无声 2024-04-07 10:29 74阅读 0赞

#### 目录 ####

*  一、Local 模式
 *   *  1. 解压缩文件
     *  2. 启动 Local 环境
     *  3. 命令行工具
     *  4. 退出本地模式
     *  5. 提交应用
 *  二、Standalone 模式
 *   *  1. 解压缩文件
     *  2. 修改配置文件
     *  3. 启动集群
     *  4. 提交应用
     *  5. 提交参数说明
     *  6. 配置历史服务
     *  7. 配置高可用 (HA)
 *  三、Yarn 模式
 *   *  1. 解压缩文件
     *  2. 修改配置文件
     *  3. 启动 HDFS 以及 YARN 集群
     *  4. 提交应用
 *  四、K8S & Mesos 模式
 *  五、Windows 模式
 *   *  1. 解压缩文件
     *  2. 启动本地环境
     *  3. 命令行提交应用
 *  六、部署模式对比
 *  七、端口号

--------------------

Spark 作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为 Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下 Spark 的运行。

![在这里插入图片描述][c1734562733c46db81f89a28dbadde0e.png]

## 一、Local 模式 ##

所谓的 Local 模式，就是不需要其他任何节点资源就可以在本地执行 Spark 代码的环境，一般用于教学，调试，演示等，之前在 IDEA 中运行代码的环境我们称之为开发环境，不太一样。

### 1. 解压缩文件 ###

将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 Linux 并解压缩，放置在指定位置，路径中不要包含中文或空格，课件后续如果涉及到解压缩操作，不再强调。

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
    cd /opt/module
    mv spark-3.0.0-bin-hadoop3.2 spark-local

### 2. 启动 Local 环境 ###

进入解压缩后的路径，执行如下指令

bin/spark-shell

![在这里插入图片描述][ae2adfd611ea4f36a3c6a0215242e345.png]  
启动成功后，可以输入网址进行 Web UI 监控页面访问。

http://虚拟机地址:4040

![在这里插入图片描述][6349a53cc8b640e49bdcdf3d0b462bfc.png]

### 3. 命令行工具 ###

在解压缩文件夹下的 data 目录中，添加 word.txt 文件。在命令行工具中执行如下代码指令 (和 IDEA 中代码简化版一致)

sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

![在这里插入图片描述][bca2c163a1ae47b89427cdd0d19bcdd3.png]

### 4. 退出本地模式 ###

按键 Ctrl+C 或输入 Scala 指令

:quit

### 5. 提交应用 ###

bin/spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master local[2] \
    ./examples/jars/spark-examples_2.12-3.0.0.jar \
    10

`--class` 表示要执行程序的主类，此处可以更换为咱们自己写的应用程序

`--master local[2]` 部署模式，默认为本地模式，数字表示分配的虚拟 CPU 核数量

spark-examples\_2.12-3.0.0.jar 运行的应用类所在的 jar 包，实际使用时，可以设定为咱们自己打的 jar 包

数字 10 表示程序的入口参数，用于设定当前应用的任务数量

![在这里插入图片描述][4e2e7b4b16ec45d686bf27783060d824.png]

## 二、Standalone 模式 ##

local 本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，这里我们来看看只使用 Spark 自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。Spark 的 Standalone 模式体现了经典的 master-slave 模式。

集群规划:

![在这里插入图片描述][03dd587cdf814876a39e5920ce358e84.png]

### 1. 解压缩文件 ###

将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 Linux 并解压缩在指定位置

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
    cd /opt/module
    mv spark-3.0.0-bin-hadoop3.2 spark-standalone

### 2. 修改配置文件 ###

进入解压缩后路径的 conf 目录，修改 slaves.template 文件名为 slaves

mv slaves.template slaves

修改 slaves 文件，添加 work 节点

linux1
    linux2
    linux3

修改 spark-env.sh.template 文件名为 spark-env.sh

mv spark-env.sh.template spark-env.sh

修改 spark-env.sh 文件，添加 JAVA\_HOME 环境变量和集群对应的 master 节点

export JAVA_HOME=/opt/module/jdk1.8.0_144
    SPARK_MASTER_HOST=linux1
    SPARK_MASTER_PORT=7077

注意：7077 端口，相当于 hadoop3 内部通信的 8020 端口，此处的端口需要确认自己的 Hadoop 配置

分发 spark-standalone 目录

xsync spark-standalone

### 3. 启动集群 ###

执行脚本命令：

sbin/start-all.sh

![在这里插入图片描述][c5ec6a4787514557b3defe9fafb5bc48.png]  
查看三台服务器运行进程

================linux1================
    3330 Jps
    3238 Worker
    3163 Master
    ================linux2================
    2966 Jps
    2908 Worker
    ================linux3================
    2978 Worker
    3036 Jps

查看 Master 资源监控 Web UI 界面: http://linux1:8080

![在这里插入图片描述][bda01da1710a4525a0e7c42e6d1ce1b3.png]

### 4. 提交应用 ###

bin/spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master spark://linux1:7077 \
    ./examples/jars/spark-examples_2.12-3.0.0.jar \
    10

`--class` 表示要执行程序的主类

`--master spark://linux1:7077` 独立部署模式，连接到 Spark 集群

`spark-examples_2.12-3.0.0.jar` 运行类所在的 jar 包

数字 10 表示程序的入口参数，用于设定当前应用的任务数量

![在这里插入图片描述][c9991f33a4db46dc967b826cc4ee6d7e.png]  
执行任务时，会产生多个 Java 进程

![在这里插入图片描述][3b9377bd9c774a4a97c536646318594a.png]  
执行任务时，默认采用服务器集群节点的总核数，每个节点内存 1024M。

![在这里插入图片描述][3944eedce7884ec0bae7bb55f4e11631.png]

### 5. 提交参数说明 ###

在提交应用中，一般会同时一些提交参数  
bin/spark-submit  
–class  
–master  
… \# other options  
  
\[application-arguments\]

![在这里插入图片描述][2c74ac5bc7834c4488ed06e90496170a.png]  
![在这里插入图片描述][e13018f8955d431e8a29b524d8e1a435.png]

### 6. 配置历史服务 ###

由于 spark-shell 停止掉后，集群监控 linux1:4040 页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。

A、修改 spark-defaults.conf.template 文件名为 spark-defaults.conf

mv spark-defaults.conf.template spark-defaults.conf

B、修改 spark-default.conf 文件，配置日志存储路径

spark.eventLog.enabled true
    spark.eventLog.dir hdfs://linux1:8020/directory

注意：需要启动 hadoop 集群，HDFS 上的 directory 目录需要提前存在。

sbin/start-dfs.sh
    hadoop fs -mkdir /directory

C、修改 spark-env.sh 文件, 添加日志配置

export SPARK_HISTORY_OPTS="
    -Dspark.history.ui.port=18080
    -Dspark.history.fs.logDirectory=hdfs://linux1:8020/directory
    -Dspark.history.retainedApplications=30"

*  参数 1 含义：WEB UI 访问的端口号为 18080
 *  参数 2 含义：指定历史服务器日志存储路径
 *  参数 3 含义：指定保存 Application 历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。

D、分发配置文件

xsync conf

E、重新启动集群和历史服务

sbin/start-all.sh
    sbin/start-history-server.sh

F、重新执行任务

bin/spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master spark://linux1:7077 \
    ./examples/jars/spark-examples_2.12-3.0.0.jar \
    10

![在这里插入图片描述][8a1c4b9294544b53b9548241b1af78a9.png]  
查看历史服务：`http://linux1:18080`

![在这里插入图片描述][6c15d930a1164ceeb5c1e55d601682a2.png]

### 7. 配置高可用 (HA) ###

所谓的高可用是因为当前集群中的 Master 节点只有一个，所以会存在单点故障问题。所以为了解决单点故障问题，需要在集群中配置多个 Master 节点，一旦处于活动状态的 Master 发生故障时，由备用 Master 提供服务，保证作业可以继续执行。这里的高可用一般采用 Zookeeper 设置

![在这里插入图片描述][533eb0647eca419c9a9ad844c1954750.png]  
A、停止集群

sbin/stop-all.sh

B、启动 Zookeeper

xstart zk

C、修改 spark-env.sh 文件添加如下配置

注释如下内容：

#SPARK_MASTER_HOST=linux1
    #SPARK_MASTER_PORT=7077
    添加如下内容:
    #Master 监控页面默认访问端口为 8080，但是可能会和 Zookeeper 冲突，所以改成 8989，也可以自定义，访问 UI 监控页面时请注意
    SPARK_MASTER_WEBUI_PORT=8989
    export SPARK_DAEMON_JAVA_OPTS="
    -Dspark.deploy.recoveryMode=ZOOKEEPER
    -Dspark.deploy.zookeeper.url=linux1,linux2,linux3
    -Dspark.deploy.zookeeper.dir=/spark"

D、分发配置文件

xsync conf/

E、启动集群

sbin/start-all.sh

![在这里插入图片描述][4ccfbb11c5174ab19a039fc03ee47142.png]  
F、启动 linux2 的单独 Master 节点，此时 linux2 节点 Master 状态处于备用状态

[root@linux2 spark-standalone]# sbin/start-master.sh

![在这里插入图片描述][2bf933c333b84bff9e49e0de74f3f90e.png]  
G、提交应用到高可用集群

bin/spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master spark://linux1:7077,linux2:7077 \
    ./examples/jars/spark-examples_2.12-3.0.0.jar \
    10

H、停止 linux1 的 Master 资源监控进程

![在这里插入图片描述][4c819fe3e590444dbf48c0d32f778f48.png]  
查看 linux2 的 Master 资源监控 Web UI，稍等一段时间后，linux2 节点的 Master 状态提升为活动状态

![在这里插入图片描述][a37066d2e3f849dea28fccb17c69444f.png]

## 三、Yarn 模式 ##

独立部署 (Standalone) 模式由 Spark 自身提供计算资源，无需其他框架提供资源。这  
种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是你也要记住，Spark 主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱一些。所以接下来我们来学习在强大的 Yarn 环境下 Spark 是如何工作的 (其实是因为在国内工作中，Yarn 使用的非常多)。

### 1. 解压缩文件 ###

将 spark-3.0.0-bin-hadoop3.2.tgz 文件上传到 linux 并解压缩，放置在指定位置。

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module
    cd /opt/module
    mv spark-3.0.0-bin-hadoop3.2 spark-yarn

### 2. 修改配置文件 ###

修改 hadoop 配置文件 /opt/module/hadoop/etc/hadoop/yarn-site.xml, 并分发

<property>
     <name>yarn.nodemanager.pmem-check-enabled</name>
     <value>false</value>
    </property>
    
    <property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
    </property>

修改 conf/spark-env.sh，添加 JAVA\_HOME 和 YARN\_CONF\_DIR 配置

mv spark-env.sh.template spark-env.sh
    。。。
    export JAVA_HOME=/opt/module/jdk1.8.0_144
    YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop

### 3. 启动 HDFS 以及 YARN 集群 ###

### 4. 提交应用 ###

bin/spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode cluster \
    ./examples/jars/spark-examples_2.12-3.0.0.jar \
    10

![在这里插入图片描述][cb39a20e6d1448fdb921df1c7e22cad2.png]  
查看 `http://linux2:8088` 页面，点击 History，查看历史页面

![在这里插入图片描述][97ca2c2e63eb44ebb37296f66a7c9e2c.png]

## 四、K8S & Mesos 模式 ##

Mesos 是 Apache 下的开源分布式资源管理框架，它被称为是分布式系统的内核，在Twitter 得到广泛使用,管理着 Twitter 超过 30,0000 台服务器上的应用部署，但是在国内，依然使用着传统的 Hadoop 大数据框架，所以国内使用 Mesos 框架的并不多，但是原理其实都差不多，这里我们就不做过多讲解了。

![在这里插入图片描述][521a7b20dc4e463cb79a1561e8abfc15.png]  
容器化部署是目前业界很流行的一项技术，基于 Docker 镜像运行能够让用户更加方便  
地对应用进行管理和运维。容器管理工具中最为流行的就是 Kubernetes（k8s），而 Spark也在最近的版本中支持了 k8s 部署模式。这里我们也不做过多的讲解。给个链接大家自己感受一下：[https://spark.apache.org/docs/latest/running-on-kubernetes.html][https_spark.apache.org_docs_latest_running-on-kubernetes.html]

![在这里插入图片描述][8ef8d720e11246a683c2796216879a83.png]

## 五、Windows 模式 ##

在同学们自己学习时，每次都需要启动虚拟机，启动集群，这是一个比较繁琐的过程，  
并且会占大量的系统资源，导致系统执行变慢，不仅仅影响学习效果，也影响学习进度，  
Spark 非常暖心地提供了可以在 windows 系统下启动本地集群的方式，这样，在不使用虚拟机的情况下，也能学习 Spark 的基本使用。

### 1. 解压缩文件 ###

将文件 spark-3.0.0-bin-hadoop3.2.tgz 解压缩到无中文无空格的路径中

### 2. 启动本地环境 ###

执行解压缩文件路径下 bin 目录中的 spark-shell.cmd 文件，启动 Spark 本地环境

![在这里插入图片描述][6c9fb3aecd0444a3b03d9048234e20ab.png]  
在 bin 目录中创建 input 目录，并添加 word.txt 文件, 在命令行中输入脚本代码

![在这里插入图片描述][50685c87bc47401bab04ca5b81c5ccd1.png]

### 3. 命令行提交应用 ###

在 DOS 命令行窗口中执行提交指令

spark-submit  --class org.apache.spark.examples.SparkPi  --master local[2] ../examples/jars/spark-examples_2.12-3.0.0.jar 10

![在这里插入图片描述][5e3e69aa6e9045a3b727503efa5b85ed.png]

## 六、部署模式对比 ##

![在这里插入图片描述][d2a05a6fa1b64a729f856146d2b6a023.png]

## 七、端口号 ##

➢ Spark 查看当前 Spark-shell 运行任务情况端口号：4040（计算）  
➢ Spark Master 内部通信服务端口号：7077  
➢ Standalone 模式下，Spark Master Web 端口号：8080（资源）  
➢ Spark 历史服务器端口号：18080  
➢ Hadoop YARN 任务运行情况查看端口号：8088

[c1734562733c46db81f89a28dbadde0e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/8ee431aa9d334026993fd3d881420701.png
[ae2adfd611ea4f36a3c6a0215242e345.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/e6be8d4ccb00419fbf5f79545d0648df.png
[6349a53cc8b640e49bdcdf3d0b462bfc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/ac6810c127a145448c26542f77b758c0.png
[bca2c163a1ae47b89427cdd0d19bcdd3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/b65629f36cae4b689d0c8dd0a76a5675.png
[4e2e7b4b16ec45d686bf27783060d824.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/f342d1578ce542dc9596b13b1055778f.png
[03dd587cdf814876a39e5920ce358e84.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/5f35f906d108476e97b5289cc11f741b.png
[c5ec6a4787514557b3defe9fafb5bc48.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/9b214a9cdb34425da9c9974122f6de42.png
[bda01da1710a4525a0e7c42e6d1ce1b3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/30016efecbe3416380ad2c6f3f3a32ac.png
[c9991f33a4db46dc967b826cc4ee6d7e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/a6aaedad3fb34d7ab72b73d1a8893314.png
[3b9377bd9c774a4a97c536646318594a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/d90d778ce8184d87826eba412760dfa8.png
[3944eedce7884ec0bae7bb55f4e11631.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/9b6622553c4f45278bcb429cdaee94b6.png
[2c74ac5bc7834c4488ed06e90496170a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/9eed40960d824cadb765c7596edde579.png
[e13018f8955d431e8a29b524d8e1a435.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/5347eb6cbd654f43a348fbfc1a09db30.png
[8a1c4b9294544b53b9548241b1af78a9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/60896c1dded647cf85072055c6f8b0f0.png
[6c15d930a1164ceeb5c1e55d601682a2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/5e8c53ca9f5b4a609de30cef6cb979cb.png
[533eb0647eca419c9a9ad844c1954750.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/e586a7dd9b5e4fd18d87d23b972133ea.png
[4ccfbb11c5174ab19a039fc03ee47142.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/a4ab8fd2b79f416fb6be46b1d02649d3.png
[2bf933c333b84bff9e49e0de74f3f90e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/307c31cadd7e4c7e8051ee197799125f.png
[4c819fe3e590444dbf48c0d32f778f48.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/91f8b08eb3144f2d8d6f19593b6ed7fe.png
[a37066d2e3f849dea28fccb17c69444f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/604408341df647528dd9f76cd38df108.png
[cb39a20e6d1448fdb921df1c7e22cad2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/75547203c2174680bc922ca34f853612.png
[97ca2c2e63eb44ebb37296f66a7c9e2c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/32e4773da08940a2b7c442c8eb33d109.png
[521a7b20dc4e463cb79a1561e8abfc15.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/d055a15677b544e08bd5058c0b587389.png
[https_spark.apache.org_docs_latest_running-on-kubernetes.html]: https://spark.apache.org/docs/latest/running-on-kubernetes.html
[8ef8d720e11246a683c2796216879a83.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/322ab1cb97a744c5bbf0c310937a80ab.png
[6c9fb3aecd0444a3b03d9048234e20ab.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/65ed9f5de9ea4c5c9e54f6b330e29e87.png
[50685c87bc47401bab04ca5b81c5ccd1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/cb49886d7e57485ab7f63480f6ac1763.png
[5e3e69aa6e9045a3b727503efa5b85ed.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/65e26fcd61154461a79bd19170914791.png
[d2a05a6fa1b64a729f856146d2b6a023.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/8e40bda614a54a90b2aa1d331f55281e.png