spark运行机制

「爱情、让人受尽委屈。」 2022-05-12 14:46 221阅读 0赞

##### Client模式提交——Driver进程运行在客户端执行流程： #####

用户启动客户端，之后客户端运行用户程序，启动Driver进程。在Driver中启动或实例化DAGScheduler等组件。 客户端的Driver向Master注册。  
Worker向Master注册，Master命令Worker启动Exeuctor。Worker通过创建ExecutorRunner线程，在ExecutorRunner线程内部启动ExecutorBackend进程。  
ExecutorBackend启动后，向客户端Driver进程内的SchedulerBackend注册，这样Driver进程就能找到计算资源。Driver的DAGScheduler解析应用中的RDD DAG并生成相应的Stage，每个Stage包含的TaskSet通过TaskScheduler分配给Executor。 在Executor内部启动线程池并行化执行Task。

##### Cluster模式提交——Driver进程在Worker节点运行执行流程： #####

用户启动客户端，客户端提交应用程序给Master。  
Master调度应用，针对每个应用分发给指定的一个Worker启动Driver，即Scheduler-Backend。 Worker接收到Master命令后创建DriverRunner线程，在DriverRunner线程内创建SchedulerBackend进程。Driver充当整个作业的主控进程。Master会指定其他Worker启动Exeuctor，即ExecutorBackend进程，提供计算资源。流程和上面很相似，Worker创建ExecutorRunner线程，ExecutorRunner会启动ExecutorBackend进程。  
ExecutorBackend启动后，向Driver的SchedulerBackend注册，这样Driver获取了计算资源就可以调度和将任务分发到计算节点执行。SchedulerBackend进程中包含DAGScheduler，它会根据RDD的DAG切分Stage，生成TaskSet，并调度和分发Task到Executor。对于每个Stage的TaskSet，都会被存放到TaskScheduler中。TaskScheduler将任务分发到Executor，执行多线程并行任务。

发表评论取消回复

表情：

评论列表（有 0 条评论，221人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark RDD-运行

2.5 RDD 中的函数传递　　在实际开发中我们往往需要自己定义一些对于 RDD 的操作，那么此时需要主要的是，初始化工作是在 Driver 端进行的，而实际运...

亦凉/ 2024年04月20日 09:10/ 0 赞/ 73 阅读

相关 Spark (四) --------- Spark 运行架构

目录一、运行架构二、核心组件 1. Driver 2. Executor 3. Master & Worker

梦里梦外;/ 2024年04月07日 11:37/ 0 赞/ 105 阅读

相关 Spark (三) --------- Spark 运行环境

目录一、Local 模式 1. 解压缩文件 2. 启动 Local 环境 3. 命令行工具 4. 退出本地模

水深无声/ 2024年04月07日 10:29/ 0 赞/ 87 阅读

相关 Spark-运行框架

Spark运行框架 Spark 框架的核心是一个计算引擎，整体来说，它采用了标准 master-slave 的结构。如下图所示，它展示了一个 Spark 执行时的基本结构

电玩女神/ 2022年09月02日 04:22/ 0 赞/ 249 阅读

相关 Spark运行模式

Spark运行模式 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9i

深藏阁楼爱情的钟/ 2022年09月02日 03:49/ 0 赞/ 295 阅读

相关图解Spark On Yarn cluster模式运行机制

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

￡神魔★判官ぃ/ 2022年08月28日 15:57/ 0 赞/ 230 阅读

相关理解Spark的运行机制

Spark生态系统目前已经非常成熟了，有很多类型的任务都可以使用spark完成，我们先看下spark生态系统的组成： ![image][] spark的核心主要由3个模块组

àì夳堔傛蜴生んèń/ 2022年06月05日 09:48/ 0 赞/ 232 阅读

相关 [spark streaming] 架构和运行机制

本期内容：　　1. Spark Streaming架构　　2. Spark Streaming运行机制 3.解密Spark Streaming Job架

灰太狼/ 2022年05月15日 09:58/ 0 赞/ 263 阅读

相关 spark运行机制

Client模式提交——Driver进程运行在客户端执行流程：用户启动客户端，之后客户端运行用户程序，启动Driver进程。在Driver中启动或实例化DAGSched

「爱情、让人受尽委屈。」/ 2022年05月12日 14:46/ 0 赞/ 222 阅读

相关理解Spark的运行机制

Spark生态系统目前已经非常成熟了，有很多类型的任务都可以使用spark完成，我们先看下spark生态系统的组成： \[img\]http://dl2.ite

Dear 丶/ 2022年04月06日 11:48/ 0 赞/ 424 阅读