Spark on Yarn的运行原理

喜欢ヅ旅行 2022-05-29 11:47 245阅读 0赞

## 一、YARN是集群的资源管理系统 ##

1、ResourceManager：负责整个集群的资源管理和分配。

2、ApplicationMaster：YARN中每个Application对应一个AM进程，负责与RM协商获取资源，获取资源后告诉NodeManager为其分配并启动Container。

3、NodeManager：每个节点的资源和任务管理器，负责启动/停止Container，并监视资源使用情况。

4、Container：YARN中的抽象资源。

## 二、SPARK的概念 ##

1、Driver：和ClusterManager通信，进行资源申请、任务分配并监督其运行状况等。

2、ClusterManager：这里指YARN。

3、DAGScheduler：把spark作业转换成Stage的DAG图。

4、TaskScheduler：把Task分配给具体的Executor。

## 三、SPARK on YARN ##

### 3.1、yarn-cluster模式下 ###

**![Center][]**

(1)ResourceManager接到请求后在集群中选择一个NodeManager分配Container，并在Container中启动ApplicationMaster进程；

(2)在ApplicationMaster进程中初始化sparkContext；

(3)ApplicationMaster向ResourceManager申请到Container后，通知NodeManager在获得的Container中启动excutor进程；

(4)sparkContext分配Task给excutor，excutor发送运行状态给ApplicationMaster。

### **3.2、yarn-client模式下** ###

**![Center 1][]**

(1)ResourceManager接到请求后在集群中选择一个NodeManager分配Container，并在Container中启动ApplicationMaster进程；

(2)driver进程运行在client中，并初始化sparkContext；

(3)sparkContext初始化完后与ApplicationMaster通讯，通过ApplicationMaster向ResourceManager申请Container，ApplicationMaster通知NodeManager在获得的Container中启动excutor进程；

(4)sparkContext分配Task给excutor，excutor发送运行状态给driver。

### **3.3、yarn-cluster与yarn-client的区别：** ###

它们的区别就是ApplicationMaster的区别，yarn-cluster中ApplicationMaster不仅负责申请资源，并负责监控Task的运行状况，因此可以关掉client；

而yarn-client中ApplicationMaster仅负责申请资源，由client中的driver来监控调度Task的运行，因此不能关掉client。

[Center]: /images/20220529/7cd5ea230bdb45b0b8390ad5988eeb90.png
[Center 1]: /images/20220529/371e7e707d2e4a8ab8754a61b87ebf2a.png

发表评论取消回复

表情：

评论列表（有 0 条评论，245人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark面试：Spark on yarn 运行流程

一： Spark on YARN能让Spark计算模型在云梯YARN集群上运行，直接读取云梯上的数据，并充分享受云梯YARN集群丰富的计算资源。二：基于YARN

ゝ一纸荒年。/ 2024年02月19日 15:08/ 0 赞/ 72 阅读

相关 Spark on yarn

Spark-on-YARN 1. 官方文档 [http://spark.apache.org/docs/latest/running-on-yarn.html][h

淩亂°似流年/ 2023年08月17日 15:55/ 0 赞/ 130 阅读

相关图解Spark On Yarn cluster模式运行机制

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

￡神魔★判官ぃ/ 2022年08月28日 15:57/ 0 赞/ 221 阅读

相关 Spark -6：运行Spark on YARN

翻译：http://spark.apache.org/docs/latest/running-on-yarn.html 支持在YARN上运行（Hadoop Next

Love The Way You Lie/ 2022年07月11日 07:29/ 0 赞/ 260 阅读

相关 Spark ON Yarn

![Center][] ![Center 1][] ![Center 2][] [Center]: /images/20220615/16e07676c89

超、凢脫俗/ 2022年06月15日 07:14/ 0 赞/ 202 阅读

相关 spark on yarn 配置

系统：centos7 软件： 1. hadoop-2.7.2.tar.gz，请勿选择src版本，否则需要自行编译 2. jdk-7u79-linux-x64.t

╰+攻爆jí腚メ/ 2022年06月03日 09:44/ 0 赞/ 253 阅读

相关 Spark on Yarn的运行原理

一、YARN是集群的资源管理系统 1、ResourceManager：负责整个集群的资源管理和分配。 2、ApplicationMaster：YARN中每个Applic

喜欢ヅ旅行/ 2022年05月29日 11:47/ 0 赞/ 246 阅读

相关 Spark on Yarn架构原理

一. 前言 SPARK相关概念 1. Driver：和ClusterManager通信，进行资源申请、任务分配并监督其运行状况等。 2. ClusterManage

怼烎@/ 2022年04月04日 05:37/ 0 赞/ 296 阅读

相关 spark on yarn

Spark on yarn的两种运行模式和运行原理一回顾—spark和mapreduce区别在MapReduce中，计算的最上层单元是是job，系统加载数据，执行一

- 日理万妓/ 2022年03月29日 13:43/ 0 赞/ 256 阅读

相关 Spark application运行hadoop中的Yarn上；Spark 的部署模式；运行Spark application到Spark Standalone；spark on yarn架构

准备工作启动hadoop相关节点配置好spark的配置文件spark-env.sh JAVA_HOME SCALA_HOME HAD

蔚落/ 2021年11月09日 04:01/ 0 赞/ 397 阅读