Spark几种运行模式的配置与测试！！！

ゞ浴缸里的玫瑰 2022-12-07 11:45 242阅读 0赞

### 目录 ###

*   *  一、Spark几种运行模式介绍
     *  二、Spark Standalone集群模式配置与运行
     *   *  （1）修改slaves文件
         *  （2）配置spark-env.sh文件
         *  （3）测试
         *   *  （1）Standalone模式启动
             *  （2）客户端测试
             *  （3）集群运行测试
     *  三、Spark on YARN 集群模式配置与运行
     *   *  （1）配置yarn-site.xml文件
         *  （2）配置spark-env.sh文件
         *  （3）测试
         *   *  （1）启动Hadoop
             *  （2）客户端测试
             *  （3）集群运行测试
             *  （4）注意事项

## 一、Spark几种运行模式介绍 ##

spark的几种运行模式

*  Local
 *  Standalone（spark自己的资源管理）
 *  YARN
 *  Mesos

## 二、Spark Standalone集群模式配置与运行 ##

首先请阅读官方文档：  
[http://spark.apache.org/docs/2.4.6/spark-standalone.html][http_spark.apache.org_docs_2.4.6_spark-standalone.html]  
在配置Standalone模式之前先看以下Standalone的架构图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]  
spark应用涉及的一些基本概念：

*  mater:主节点主要是控制、管理和监督整个spark集群
 *  client：客户端，将应用程序提交，记录着要业务运行逻辑和master通讯。
 *  sparkContext：spark应用程序的入口，负责调度各个运算资源，协调各个work node上的Executor。主要是一些记录信息，记录谁运行的，运行的情况如何等。这也是为什么编程的时候必须要创建一个sparkContext的原因了。
 *  Driver Program：每个应用的主要管理者
 *  RDD：spark的核心数据结构，可以通过一系列算子进行操作，当RDD遇到Action算子时，将之前的所有的算子形成一个有向无环图(DAG)。再在spark中转化成为job，提交到集群执行。一个app可以包含多个job
 *  worker Node:集群的工作节点，也是从节点，可以运行Application代码的节点，接收mater的命令并且领取运行任务，同时汇报执行的进度和结果给master，节点上运行一个或者多个Executor进程。
 *  exector：为application运行在workerNode上的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上。每个application都会申请各自的Executor来处理任务。

运行流程：  
1.sparkContext向Master申请所需要的资源  
2.Master就在Worker节点上申请资源  
3.Worker向Master注册，Master通过指令让worker启动Executor  
4.Executor进程主要负责运行Task任务  
5.Executor会返回报告给sparkContext  
6.应用程序会将运行结果报告给用户

### （1）修改slaves文件 ###

我这里只配置的一个work节点  
在`/opt/Hadoop/spark/conf/slaves`文件中添加

node1

### （2）配置spark-env.sh文件 ###

在`/opt/Hadoop/spark/conf/spark-env.sh`文件中添加  
首先配置JAVA\_HOME和SCALA\_HOME

JAVA_HOME=/opt/Hadoop/jdk1.8.0_162
    SCALA_HOME=/opt/Hadoop/scala-2.12.8

然后配置master和worker的端口号等相关参数，我这里master和worker配置的在同一台机器上

SPARK_MASTER_HOST=node1
    SPARK_MASTER_PORT=7077
    SPARK_MASTER_WEBUI_PORT=8080
    SPARK_WORKER_CORES=1
    SPARK_WORKER_MEMORY=1g
    SPARK_WORKER_PORT=7078
    SPARK_WORKER_WEBUI_PORT=8081

SPARK_CONF_DIR=/opt/Hadoop/spark/conf

各端口号解释说明：

*  7077:master的端口号
 *  8080:master的web UI端口号
 *  7078:worker的端口号
 *  8081:worker的web UI端口号

### （3）测试 ###

#### （1）Standalone模式启动 ####

sbin/start-all.sh

[caizhengjie@node1 spark]$ sbin/start-all.sh 
    starting org.apache.spark.deploy.master.Master, logging to /opt/Hadoop/spark/logs/spark-caizhengjie-org.apache.spark.deploy.master.Master-1-node1.out
    node1: starting org.apache.spark.deploy.worker.Worker, logging to /opt/Hadoop/spark/logs/spark-caizhengjie-org.apache.spark.deploy.worker.Worker-1-node1.out

访问一下web界面：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 1]  
查看jps进程：

23504 Jps
    23332 Master
    23413 Worker

#### （2）客户端测试 ####

bin/spark-shell --master spark://node1:7077

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 2]

scala> val dataSet = spark.read.textFile("file:///opt/datas/stu.txt")
    dataSet: org.apache.spark.sql.Dataset[String] = [value: string]

scala> dataSet.count
    res0: Long = 6

查看运行状态：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 3]

#### （3）集群运行测试 ####

bin/spark-submit --master spark://node1:7077 --deploy-mode cluster /opt/jars/sparkTest.jar /opt/datas/stu.txt

查看运行状态：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 4]  
已经运行完了，下面去查看一下运行结果，也可以去web ui查看运行结果，也可以去查看日志文件。  
Spark Standalone模式下日志文件在默认情况下是存储在worker节点的work目录下`/opt/Hadoop/spark/work/driver-20200915081125-0000`

vim stdout

## 三、Spark on YARN 集群模式配置与运行 ##

首先请阅读官方文档：  
[http://spark.apache.org/docs/2.4.6/running-on-yarn.html][http_spark.apache.org_docs_2.4.6_running-on-yarn.html]

### （1）配置yarn-site.xml文件 ###

在yarn-site.xml文件里添加：

<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
    </property>
    <property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
    </property>

原因是：在spark on yarn的模式下有一个线程会实时监控任务，如果这个任务超过了（虚拟、物理）内存，它会把这个任务给kill掉，上述文件设置问true就会kill了，设置false就不会kill，等时间长之后慢慢执行

### （2）配置spark-env.sh文件 ###

在`/opt/Hadoop/spark/conf/spark-env.sh`文件中添加

HADOOP_CONF_DIR=/opt/Hadoop/hadoop/etc/hadoop

### （3）测试 ###

#### （1）启动Hadoop ####

在运行spark on yarn模式的情况下首先得保证Hadoop能够正常运行

start-all.sh

2400 ResourceManager
    2688 NodeManager
    2069 DataNode
    12277 Jps
    1934 NameNode
    2238 SecondaryNameNode

#### （2）客户端测试 ####

以client模式启动Spark应用程序，下面显示了如何spark-shell在client模式下运行：

bin/spark-shell --master yarn --deploy-mode client

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 7]  
可以看出以client模式启动Spark应用程序没有问题，那么我们需要再来测试一下词频统计：

scala> val dataSet = spark.read.textFile("file:///opt/datas/stu.txt")
    dataSet: org.apache.spark.sql.Dataset[String] = [value: string]

scala> dataSet.count
    res0: Long = 6

scala> dataSet.flatMap(x => x.split(" ")).map(x =>(x,1)).groupBy("_1").count.show
    +------+-----+                                                                  
    |    _1|count|
    +------+-----+
    |  unix|    1|
    | hbase|    1|
    |spring|    1|
    | mysql|    1|
    | scala|    2|
    | spark|    1|
    |   hue|    1|
    |   c++|    1|
    |     c|    1|
    | linux|    1|
    |  java|    4|
    |   php|    1|
    |hadoop|    2|
    |python|    3|
    |  hive|    1|
    +------+-----+

#### （3）集群运行测试 ####

以cluster模式启动Spark应用程序：

bin/spark-submit --class com.spark.test.Test --master yarn --deploy-mode cluster /opt/jars/sparkTest-yarn.jar hdfs://node1:8020/user/datas/stu.txt

出现运行成功结果：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 10]  
这里要注意的是，要修改上一篇sparkTest.jar包文件，重新打成sparkTest-yarn.jar新的jar包。[关于生成sparkTest.jar包请点击这里！][sparkTest.jar]  
将之前的master(“local”)改为master(“yarn-cluster”)  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 11]  
那么该如何查看运行的日志文件：  
方法一：进入到`cd /opt/Hadoop/hadoop/logs/userlogs`路径下  
![在这里插入图片描述][20200917180606222.png_pic_center]  
找到对应的序号，并且进入：  
![在这里插入图片描述][20200917181333984.png_pic_center]  
最后查看stdout文件就能看到日志文件了  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 12]  
方法二：也可以通过网页查看  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 13]  
具体的日志路径和方法一一样。

#### （4）注意事项 ####

在运行spark on yarn的模式下，一定要把虚拟机的内存扩大，不然会运行不成功或者报错！运行spark的时候，最好只开一台虚拟机，降低资源利用，配置高的电脑当我没说。

--------------------

以上内容仅供参考学习，如有侵权请联系我删除！  
如果这篇文章对您有帮助，左下角的大拇指就是对博主最大的鼓励。  
您的鼓励就是博主最大的动力！

[http_spark.apache.org_docs_2.4.6_spark-standalone.html]: http://spark.apache.org/docs/2.4.6/spark-standalone.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/dec2c63f3f7b4bf8aeb45c8fd8e52be9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/da66b430ba3241598c7832ca380f40ce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/7e70caa0ba614b3ca3d995a1f42b21d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/09c03693cbf64938b9532ace3a69387d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/3ed8d0e694eb49a296dcf5186ece1afe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/0eab3daedb59468184541f67a9591b8b.png
[http_spark.apache.org_docs_2.4.6_running-on-yarn.html]: http://spark.apache.org/docs/2.4.6/running-on-yarn.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/8911e07cf4ae48fe8f5bbcaeebb1df4d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221123/88328ee6a0f340da9e4019f8179098a3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221123/e7b8c817b2be48d6a6bbdc451d0ac15e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221123/1add70791a514a3bbd756e41250b55c3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221123/cfbe1390145a4b1284d3ebcde27fe4cb.png
[sparkTest.jar]: https://blog.csdn.net/weixin_45366499/article/details/108518504
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221123/bcba28c6b7b647d68ba26d7b96e389df.png
[20200917180606222.png_pic_center]: /images/20221123/b3fc24b0b15c48038643ec5083d6fa01.png
[20200917181333984.png_pic_center]: /images/20221123/67a2613218ff49a183ddf75c4b900347.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20221123/8f012d5405c54c6fa664c6495f074229.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTM2NjQ5OQ_size_16_color_FFFFFF_t_70_pic_center 13]: /images/20221123/934278ba09494cc4aa39593dfd0d1e26.png