Spark的执行原理,本地Master模式, Yarn_cluster模式运行, Yarn_client模式运行, Yarn_cluster和Yarn_client的区别 14

喜欢ヅ旅行 2021-12-09 02:29 466阅读 0赞

# 1. 本地Master负责调度资源 #

## 1.1 命令行 ##

bin/spark-submit --class cn.spark.com.WordCountForHDFS \
    --master spark:node01:8080 \
    --executor-memory 1g \ //每个executor分配1g的内存
    --total-executor-cores 4 \ //所有的executor加起来核数是4
    /root/spark-root-1.0-SANPSHOT.jar \
    /test.txt /out-spark-hdfs123

## 1.2 执行流程 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70]

*  通过启动sparkContext(程序运行的main方法).向资源管理器注册, 并申请每个executor执行的内存, 以及总的executor和核数(spark的交互方式), 以下三种模式对应的资源管理器不同
    
     *  master–> master
     *  yarn–>resourceManager
     *  mesos–>mesos
 *  资源管理器为每个数据的每个分区分配资源,并启动executor, executor汇报资源情况给资源管理器
 *  sc 构建DAG–>DAG schedule 切割stages(taskSet)–>TASK schedule–> 提交task(脚本&.jar&参数) -->Executor executor向sc申请task
    
     *  master–>task schedule
     *  spark on yarn --> yarnClusterSchedule
 *  tasks 在每个分区的executor中运行, 运行完毕释放资源

# 2. Spark on yarn\_cluster模式 #

## 2.1 命令行 ##

bin/spark-submit --class cn.spark.com.WordCountForHDFS \
    --master yarn-cluster \
    --executor-memory 1g \
    --total-executor-cores 4 \
    /root/spark-root-1.0-SNAPSHOT.jar 
    /test.txt /out-spark-hdfs123v

## 2.2 运行流程 ##

*  application master: SparkContext&executor)运行在application master中
 *  application master是nodeManager向resourceManager申请下来的, 启动在nodeManager中.
 *  关闭client, 不影响application的运行
 *  resourceManager负责分配资源,application master负责任务的分配  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 1]

1.  **Spark Yarn Client**向Yarn中提交应用程序, 包括**ApplicationMaster程序,启动ApplicationMaster的命令, 需要在Execturo中运行的程序**  
    **也就是Jar包和资源到hdfs**
2.  **Spark Yarn Client**向**RescourceManager**提交请求.
3.  **ResourceManager**收到请求后, 在集群中选择一个**NodeManager**, 申请**ApplicationMaster**
4.  **NodeManager**启动**ApplicationMaster**, 用于分配后续任务的执行
5.  **ApplicationMaster**启动调度器, **DAGScheduler**和**YarnClousterScheduler**, ApplicationMaster调度任务其实本质上是这两个调度器在调度任务.
6.  **ApplicationMaster**启动后, 向**ResourceManager**申请**Container**, **Container**是真正执行任务的场所.
7.  **ResourceManager**接到了**ApplicationMaster**的请求,给**NodeManager**分配**Container**.
8.  **NodeManager**启动申请到的**Container**.
9.  **YarnClousterScheduler**对**Worker分配工作**.
10. **Spark的Worker**, 启动**Executor**, **Executor从hdfs上读取分片数据,执行任务.**

# 3. Sparn on Yarn\_client #

## 3.1 命令行 ##

bin/spark-submit \
    --class cn.spark.com.WordCountForHDFS \
    --master yarn_client \
    --executor-memory 1g \
    --total-executor-cores 4 \
    /root/spark-root-1.0-SNAPSHOT.jar \
    /test.txt \
    /out-spark-hdfs123v

## 3.2 执行流程图解 ##

*  Yarn\_client模式中, Driver在客户端本地运行, 这种模式可以使得**Spark Application**和客户端进行交互.
 *  因为**Driver**在客户端, 所以可以通过webUI访问**Driver**的状态, 默认是**[http://node01:4040][http_node01_4040]**访问, 而Yarn通过**[http://node01:8088][http_node01_8088]**访问.  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 2]

1.  Spark Yarn Client 向 YARN 的 ResourceManager 申请启动 Application Master。同时在 SparkConten始化中将创建 DAGScheduler 和 TASKScheduler 等，由于我们选择的是 Yarn-Client 模式，程序会选YarnClientClusterScheduler 和 YarnClientSchedulerBackend；
2.  ResourceManager 收到请求后，在集群中选择一个 NodeManager，为该应用程序分配第一个 Contain要 求 它 在 这 个 Container 中 启 动 应 用 程 序 的 ApplicationMaster ， 与 YARN-Cluster 区 别 的 是 在 ApplicationMaster 不运行 SparkContext，只与 SparkContext 进行联系进行资源的分派；
3.  Client 中的 SparkContext 初始化完毕后，与 ApplicationMaster 建立通讯，向 ResourceManager 注册根据任务信息向 ResourceManager 申请资源（Container）；
4.  一旦 ApplicationMaster 申请到资源（也就是 Container）后，便与对应的 NodeManager 通信，要在获得的 Container 中启动启动 CoarseGrainedExecutorBackend，CoarseGrainedExecutorBackend 启动后会Client 中的 SparkContext 注册并申请 Task；
5.  Client 中 的 SparkContext 分 配 Task 给 CoarseGrainedExecutorBackend 执 行 CoarseGrainedExecutorBackend 运行 Task 并向 Driver 汇报运行的状态和进度，以让 Client 随时掌握各个务的运行状态，从而可以在任务失败时重新启动任务；
6.  应用程序运行完成后，Client 的 SparkContext 向 ResourceManager 申请注销并关闭自吉己

# 4. Yarn\_client和Yarn\_cluster区别 #

*  理解**Yarn\_client**和**Yarn\_cluster**深层次的区别之前先清楚一个概念: **ApplicationMaster**. 在**Yarn**, 每个**Appliaction**实例都有一个**ApplicationMaster**进程, 它是**Application**启动的第一个容器. **AppMaster**负责和**ResourceManager**打交道并且**申请资源**, 获取资源后告诉**NodeManager**为自己启动**Container**. 从深层次的含义将**Yarn\_cluster**和**Yarn\_client**模式的区别其实就是**ApplicationMaster**进程的区别.
 *  **Yarn\_Cluster**模式下,**Driver**运行在**AM(ApplicationMaster)中, AM它负责向Yarn**申请资源, 并监督作业的运行状况. 当用户提交了作业之后, **就可以关掉Client**, 作业会继续在**Yarn上运行**, 因而**Yarn\_cluster模式不适合运行交互类型的作业.**
 *  **Yarn\_client**模式下, **ApplicationMaster**仅仅向**Yarn**请求**Executor**, **Client**会和**Container**通信来调度工作, 因此**Client**不能关闭.

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70]: /images/20211209/d2e712bf73ae49fbaee7cfb976d79d09.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 1]: /images/20211209/469c7daed29a47ef8aa5b4b618516d16.png
[http_node01_4040]: http://node01:4040
[http_node01_8088]: http://node01:8088
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 2]: /images/20211209/0627e4f2f9d94e8d90d259e9e40ca797.png