Spark 内核 (一) --------- Spark 内核概述

逃离我推掉我的手 2024-04-07 13:17 80阅读 0赞

#### 目录 ####

*  一、Spark 核心组件回顾
 *   *  1. Driver
     *  2. Executor
 *  二、Spark 通用运行流程概述

--------------------

Spark 内核泛指 Spark 的核心运行机制，包括 Spark 核心组件的运行机制、Spark 任务调度机制、Spark 内存管理机制、Spark 核心功能的运行原理等，熟练掌握 Spark 内核原理，能够帮助我们更好地完成 Spark 代码设计，并能够帮助我们准确锁定项目运行过程中出现的问题的症结所在。

## 一、Spark 核心组件回顾 ##

### 1. Driver ###

Spark 驱动器节点，用于执行 Spark 任务中的 main 方法，负责实际代码的执行工作。  
Driver 在 Spark 作业执行时主要负责：

*  将用户程序转化为作业（Job）；
 *  在 Executor 之间调度任务（Task）；
 *  跟踪 Executor 的执行情况；
 *  通过 UI 展示查询运行情况；

### 2. Executor ###

Spark Executor 对象是负责在 Spark 作业中运行具体任务，任务彼此之间相互独立。Spark 应用启动时，ExecutorBackend 节点被同时启动，并且始终伴随着整个 Spark 应用的生命周期而存在。如果有 ExecutorBackend 节点发生了故障或崩溃，Spark 应用也可以继续执行，会将出错节点上的任务调度到其他 Executor 节点上继续运行。

Executor 有两个核心功能：

*  负责运行组成 Spark 应用的任务，并将结果返回给驱动器（Driver）；
 *  它们通过自身的块管理器（Block Manager）为用户程序中要求缓存的 RDD 提供内存式存储。RDD 是直接缓存在 Executor 进程内的，因此任务可以在运行时充分利用缓存数据加速运算。

## 二、Spark 通用运行流程概述 ##

![在这里插入图片描述][30e76abb94e047829216bbda8603df96.png]  
上图为 Spark 通用运行流程图，体现了基本的 Spark 应用程序在部署中的基本提交流程。这个流程是按照如下的核心步骤进行工作的：

*  任务提交后，都会先启动 Driver 程序；
 *  随后 Driver 向集群管理器注册应用程序；
 *  之后集群管理器根据此任务的配置文件分配 Executor 并启动；
 *  Driver 开始执行 main 函数，Spark 查询为懒执行，当执行到 Action 算子时开始反向推算，根据宽依赖进行 Stage 的划分，随后每一个 Stage 对应一个 Taskset，Taskset 中有多个 Task，查找可用资源 Executor 进行调度；
 *  根据本地化原则，Task 会被分发到指定的 Executor 去执行，在任务执行的过程中，Executor 也会不断与 Driver 进行通信，报告任务运行情况。

[30e76abb94e047829216bbda8603df96.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/07/06c2861eebff4e05b79129bca0c66e92.png