Spark之Master注册机制

不念不忘少年蓝@ 2022-03-26 04:40 333阅读 0赞

# Spark之Master注册机制 #

在Spark集群中只有向Master注册了的组件，这个组件才能够被Master管理起来。在Spark中只有Driver、Application、Worker会向Master注册自己。接下来我们逐一介绍。

## Woker注册到Master ##

Worker在启动之后就会像Master进行注册。首先Master会判断这个Woker的状态是否为DEAD（就是状态已经为DEAD但是还给Master发送消息）。那么就把这个Driver过滤掉。然后UNKOWN状态的Worker的状态会被更新。然后将这些Woker加入Master的缓存中（一个Map集合）。然后使用持久化引擎将Worker的信息持久化到到文件系统或者是zk集群。然后Master调用schedule()方法准备调度执行。

## Driver注册到Master ##

Spark-submit提交spark的Application的时候首先会注册Driver。这个过程比较简单，直接将Driver放到Master的缓存中，然后加入等待队列（ArrayBuffer）等待调用。最后将Driver的信息持久化。

## Application注册到Master ##

当Driver启动完成，执行我们编写的代码时。SparkContext底层的SparkDeploySchedulerBackend会通过AppClient内部的ClientActor线程去向Master发送RegisterApplication消息进行注册。然后将Application的信息放入Map内存然后加入等待队列。最后持久化Application的信息。

## Application注册到Master源码介绍 ##

Application注册到Master的核心步骤就是通过ClientActor线程去向Master发送RegisterApplication消息进行注册。首先会检测注册的Master是否为standby状态，如果不是才会执行下面的步骤。Application中会使用ApplicationDescription去创造一个注册对象。

（ApplicationDescription的源码如下）

![20190115165905239.PNG][]

然后在为这个Application分配一个没有出现过的ID。然后将Application加入等待调度的队列waitingApps。源码如下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0OTkzNjMx_size_16_color_FFFFFF_t_70][]

最后感谢石杉老师！

[20190115165905239.PNG]: /images/20220326/8dff71a1e4f648098c4b2556448dbf45.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0OTkzNjMx_size_16_color_FFFFFF_t_70]: /images/20220326/a136f5d4510d4336876b03ad495ddfce.png