zookeeper的Leader选举机制详解

本是古典何须时尚 2021-11-29 13:32 327阅读 0赞

转载自：[https://www.toutiao.com/i6701570306445672963/?tt\_from=copy\_link&utm\_campaign=client\_share&timestamp=1563546713&app=news\_article\_lite&utm\_source=copy\_link&utm\_medium=toutiao\_ios&req\_id=201907192231531720170000013322D80&group\_id=6701570306445672963][https_www.toutiao.com_i6701570306445672963_tt_from_copy_link_utm_campaign_client_share_timestamp_1563546713_app_news_article_lite_utm_source_copy_link_utm_medium_toutiao_ios_req_id_201907192231531720170000013322D80_group_id_6701570306445672963]

分布式开发必须知道的Zookeeper知识及其的Leader选举机制(ZAB原子广播协议)

ZooKeeper是Hadoop下的一个子项目，它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组服务等； 它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

ZooKeeper系统架构

下图就是Zookeeper的架构图:

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader]

从上面的架构图中，我们需要了解的主要的信息有：

①ZooKeeper分为服务器端(Server)和客户端(Client)，客户端可以连接到整个ZooKeeper服务的任意服务器上(Leader除外)。

②ZooKeeper 启动时，将从实例中选举一个Leader，Leader 负责处理数据更新等操作，一个更新操作成功的标志是当且仅当大多数Server在内存中成功修改数据(Quorom机制)。每个Server 在内存中存储了一份数据。

③Zookeeper是可以集群复制的，集群间通过Zab协议（Zookeeper Atomic Broadcast）来保持数据的一致性；

④Zab协议包含两个阶段：Leader Election阶段和Atomic Brodcast阶段。群中将选举出一个Leader，其他的机器则称为Follower，所有的写操作都被传送给Leader，并通过Brodcast将所有的更新告诉给Follower。 当Leader被选举出来，且大多数服务器完成了和leader的状态同步后，Leadder Election 的过程就结束了，就将会进入到Atomic Brodcast的过程。Atomic Brodcast同步Leader和Follower之间的信息，保证Leader和Follower具有形同的系统状态。

--------------------

Quorom机制简介

在分布式系统中，冗余数据是保证可靠性的手段，因此冗余数据的一致性维护就非常重要。一般而言，一个写操作必须要对所有的冗余数据都更新完成了，才能称为成功结束。比如一份数据在5台设备上有冗余，因为不知道读数据会落在哪一台设备上，那么一次写操作，必须5台设备都更新完成，写操作才能返回。

对于写操作比较频繁的系统，这个操作的瓶颈非常大。Quorum算法可以让写操作只要写完3台就返回。剩下的由系统内部缓慢同步完成。而读操作，则需要也至少读3台，才能保证至少可以读到一个最新的数据。

--------------------

Zookeeper中的四种角色

①Leader：领导者，负责进行投票的发起和决议，更新系统状态。

②Learner：学习者

③Follower(Learner的子类)：跟随者，用于接受客户端请求并向客户端返回结结果，在选主过程中参与投票，Follower可以接收Client请求，如果是写请求将转发给Leader来更新系统状态。

④Observer：观察者，可以接收客户端连接，将写请求转发给Leader节点，但是不参与投票过程，只是同步Leader状态，因为Follower增多会导致投票阶段延迟增大，影响性能。Observer的目的是为了扩展系统，提高读取数据。

--------------------

为什么Zookeeper中的Server数目一般为基数？

我们知道在Zookeeper中 Leader 选举算法采用了Quorom算法。该算法的核心思想是当多数Server写成功，则任务数据写成功。假设有3个Server，则最多允许一个Server挂掉；如果有4个Server，则同样最多允许一个Server挂掉。既然3个或者4个Server，同样最多允许1个Server挂掉，那么它们的可靠性是一样的，所以选择奇数个ZooKeeper Server即可，这里选择3个Server。

--------------------

Zookeeper用于Leader选举的算法

①基于UDP的LeaderElection

②基于UDP的FastLeaderElection

③基于UDP和认证的FastLeaderElection

④基于TCP的FastLeaderElection(默认值)

--------------------

FastLeaderElection机制

接下来要说的就是Zookeeper的Leader选举机制核心算法FastLeaderElection类。FastLeaderElection实现了Election接口，其需要实现接口中定义的lookForLeader(核心的选举算法入口)方法和shutdown方法FastLeaderElection选举算法是标准的Fast Paxos算法实现，可解决LeaderElection选举算法收敛速度慢的问题。

术语介绍

**sid(myid)**

每个Zookeeper服务器，都需要在数据文件夹下创建一个名为myid的文件，该文件包含整个Zookeeper集群唯一的ID（整数）。例如某Zookeeper集群包含三台服务器，hostname分别为zoo1、zoo2和zoo3，其myid分别为1、2和3，则在配置文件中其ID与hostname必须一一对应，如下所示。在该配置文件中，server.后面的数据即为myid(**Leader选举时用的sid**或者leader)。

server.1=zoo1:2888:3888
    server.2=zoo2:2888:3888
    server.3=zoo3:2888:3888

**zxid**

类似于RDBMS中的事务ID，用于标识一次更新操作的Proposal ID。为了保证顺序性，该zkid必须单调递增。因此Zookeeper使用一个64位的数来表示，高32位是Leader的epoch，从1开始，每次选出新的Leader，epoch加一。低32位为该epoch内的序号，每次epoch变化，都将低32位的序号重置。这样保证了zxid的全局递增性。

--------------------

Zookeeper节点的四种状态

截图为Zookeeper定义的四种服务器节点状态：

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader 1]

*  ①**LOOKING**： 不确定Leader状态。该状态下的服务器认为当前集群中没有Leader，会发起Leader选举。
 *  ②**FOLLOWING**： 跟随者状态。表明当前服务器角色是Follower，并且它知道Leader是谁。
 *  ③**LEADING**： 领导者状态。表明当前服务器角色是Leader，它会维护与Follower间的心跳。
 *  ④**OBSERVING**： 观察者状态。表明当前服务器角色是Observer，与Folower唯一的不同在于不参与选举，也不参与集群写操作时的投票。

--------------------

FastLeaderElection内部类

FastLeaderElection的内部类的情况如下图：

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader 2]

*  **Notification：**表示收到的选举投票信息（其他服务器发来的选举投票信息），其包含了被选举者的id、zxid、选举周期等信息。
 *  **ToSend：**表示发送给其他服务器的选举投票信息（其他服务器发来的选举投票信息），其包含了被选举者的id、zxid、选举周期等信息。
 *  **Messenger：**包含了**WorkerReceiver**和**WorkerSender**两个内部类。WorkerReceiver实现了Runnable接口，是**选票接收器**。WorkerSender也实现了Runnable接口，为**选票发送器**。

--------------------

Notification(收到的投票信息)

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader 3]

*  **leader:**被推选的leader的id。
 *  **zxid:**被推选的leader的事务id。
 *  **electionEpoch:**推选者的选举周期。
 *  **state:**推选者的状态。
 *  **sid:**推选者的id。
 *  **peerEpoch:**被推选者的选举周期。

--------------------

ToSend(发送的投票信息)

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader 4]

--------------------

WorkerSender(选票发送器)

WorkerSender也实现了Runnable接口，为选票发送器，其会不断地从sendqueue中获取待发送的选票，并将其传递到底层QuorumCnxManager中。

*  获取选票

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader 5]

*  发送选票

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader 6]

--------------------

WorkerReceiver(选票接收器)

WorkerReceiver实现了Runnable接口，是选票接收器。其会不断地从QuorumCnxManager中获取其他服务器发来的选举消息中。先会从QuorumCnxManager中的pollRecvQueue队列中取出其他服务器发来的选举消息，消息封装在Message数据结构中。然后判断消息中的服务器id是否包含在可以投票的服务器集合中，若不是，则会将本服务器的内部投票发送给该服务器，其流程如下:

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader 7]

若包含该服务器，则根据消息（Message）解析出投票服务器的投票信息并将其封装为Notification，然后判断当前服务器是否为LOOKING，若为LOOKING，则直接将Notification放入FastLeaderElection的recvqueue。然后判断投票服务器是否为LOOKING状态，并且其选举周期小于当前服务器的逻辑时钟，则将本（当前）服务器的内部投票发送给该服务器，否则，直接忽略掉该投票。其流程如下:

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader 8]

若本服务器的状态不为LOOKING，则会根据投票服务器中解析的version信息来构造ToSend消息，放入sendqueue，等待发送，起流程如下：

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader 9]

--------------------

核心函数分析

sendNotifications函数

其会遍历所有的参与者投票集合，然后将自己的选票信息发送至上述所有的投票者集合，其并非同步发送，而是将ToSend消息放置于sendqueue中，之后由WorkerSender进行发送。

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader 10]

totalOrderPredicate函数

该函数将接收的投票与自身投票进行PK，查看是否消息中包含的服务器id是否更优，其按照epoch、zxid、id的优先级进行PK。

*  判断消息里的epoch是不是比当前的大，如果大则消息中id对应的服务器就是leader。
 *  如果epoch相等则判断zxid，如果消息里的zxid大，则消息中id对应的服务器就是leader。
 *  如果前面两个都相等那就比较服务器id，如果大，则其就是leader。

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader 11]

termPredicate函数

该函数用于判断Leader选举是否结束，即是否有一半以上的服务器选出了相同的Leader，其过程是将收到的选票与当前选票进行对比，选票相同的放入同一个集合，之后判断选票相同的集合是否超过了半数。

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader 12]

checkLeader函数

该函数检查是否已经完成了Leader的选举，此时Leader的状态应该是LEADING状态。

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader 13]

lookForLeader函数

该函数就是leader选举的核心方法，代码行数有点多，这里仅分析其中的一部分。

*  更新逻辑时钟、更新选票、发送选票

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader 14]

*  获取投票数据、连接服务器

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader 15]

*  选举Leader

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader 16]

*  LEADING状态处理

![这可能是全网把zookeeper的Leader选举机制讲的最透彻的一篇文章][zookeeper_Leader 17]

以上就是关于zookeeper的所有基本知识与Leader选举机制的讲解。

[https_www.toutiao.com_i6701570306445672963_tt_from_copy_link_utm_campaign_client_share_timestamp_1563546713_app_news_article_lite_utm_source_copy_link_utm_medium_toutiao_ios_req_id_201907192231531720170000013322D80_group_id_6701570306445672963]: https://www.toutiao.com/i6701570306445672963/?tt_from=copy_link&utm_campaign=client_share&timestamp=1563546713&app=news_article_lite&utm_source=copy_link&utm_medium=toutiao_ios&req_id=201907192231531720170000013322D80&group_id=6701570306445672963
[zookeeper_Leader]: https://imgconvert.csdnimg.cn/aHR0cDovL3A5LnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzhhOWIyZTMxOWY5OTRlZjBhYmUyN2Y5YzdhOTNmZWJm
[zookeeper_Leader 1]: https://imgconvert.csdnimg.cn/aHR0cDovL3A5LnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlL2Y3MzViYzdkNGY0NjRhOGFhY2FjZmJiZGI3ZGU3OTg5
[zookeeper_Leader 2]: https://imgconvert.csdnimg.cn/aHR0cDovL3AzLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzJiOWVhNjUzZTBjZTRiNDE5ZjY2MTg3NjY1M2UxODkz
[zookeeper_Leader 3]: /images/20211129/3989689072de41d5b75d40e325d1a5d7.png
[zookeeper_Leader 4]: /images/20211129/aaa9a708df564f4e8abcd3dfc0558240.png
[zookeeper_Leader 5]: /images/20211129/66e50802f6cb451093928ca754e3dd70.png
[zookeeper_Leader 6]: /images/20211129/696c7c686dfe4cd28df9d869653ab108.png
[zookeeper_Leader 7]: /images/20211129/fa381fb33a354f148c263be1dee837e9.png
[zookeeper_Leader 8]: /images/20211129/4223e1b4d04b4060aa42498cace307f9.png
[zookeeper_Leader 9]: /images/20211129/9c2eba9fd3dd48db8e7c698bd938b439.png
[zookeeper_Leader 10]: /images/20211129/286a7b96e00642d683086d4b3a740754.png
[zookeeper_Leader 11]: /images/20211129/1a31cf67355a428ab0591741efc7c35d.png
[zookeeper_Leader 12]: /images/20211129/0b5253d6cdd140958ef1d6dafd422fa3.png
[zookeeper_Leader 13]: /images/20211129/9b72bea6327b450d940d98b2715e49ed.png
[zookeeper_Leader 14]: /images/20211129/3f983d05e0e64d94bc1e22c9f036b105.png
[zookeeper_Leader 15]: /images/20211129/661e787b09654e60bef808372c647225.png
[zookeeper_Leader 16]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlL2YwMDg4MmVmMWYxNjQxYjI4YzUwM2FlMWVhMDNjNzc2
[zookeeper_Leader 17]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlL2NhMDAxNDMzYzkyNjQxOGVhM2E1MWY1YjZmNGU4MDZh