大数据Spark系列之Spark基本概念解析

旧城等待， 2023-07-21 11:22 20阅读 0赞

**1）Application**

用户在 spark 上构建的程序，包含了 driver 程序以及在集群上运行的程序代码，物理机器上涉及了 driver，master，worker 三个节点。

**2）Driver Program**

创建 sc ，定义 udf 函数，定义一个 spark 应用程序所需要的三大步骤的逻辑：加载数据集，处理数据，结果展示。

**3）Cluster Manager**

集群的资源管理器，在集群上获取资源的外部服务。

**4）Worker Node**

集群中任何一个可以运行spark应用代码的节点。Worker Node就是物理节点，可以在上面启动Executor进程。

**5）Executor**

Executor 是一个应用程序运行的监控和执行容器，它的主要职责是：

1.  初始化程序要执行的上下文 SparkEnv，解决应用程序需要运行时的 jar 包的依赖，加载类。
2.  ExecutorBackend 向 cluster manager 汇报当前的任务状态，这一方面有点类似 hadoop的 tasktracker 和 task。

**6）Jobs**

包含很多 task 的并行计算，可以认为是 Spark RDD 里面的 action，每个 action 的触发会生成一个job。 用户提交的 Job 会提交给 DAGScheduler，Job 会被分解成 Stage，Stage 会被细化成 Task，Task 简单的说就是在一个数据 partition 上的单个数据处理流程。

**7）Stage**

Stage 的划分以 shuffle 和 result 这两种类型来划分。

**8）Task**

被送到 executor 上的工作单元。

**9）Partition**

Partition 类似 hadoop 的 Split，计算是以 partition 为单位进行的，当然 partition 的划分依据有很多，这是可以自己定义的，像 HDFS 文件，划分的方式就和 MapReduce 一样，以文件的 block 来划分不同的 partition。

**10）RDD(Resilient Distributed Datasets)**

1.  弹性分布式数据集， 是分布式内存的一个抽象概念，RDD提供了一种高度受限的共享内存模型。
2.  它具备像MapReduce等数据流模型的容错特性，并且允许开发人员在大型集群上执行基于内存的计算。
3.  RDD是只读的、分区记录的集合。
4.  RDD不需要物化。
5.  RDD作为数据结构，本质上是一个只读的分区记录集合。一个RDD可以包含多个分区，每个分区就是一个dataset片段。RDD可以相互依赖。