Kafka - Rebalance过程

女爷i 2021-12-15 06:09 285阅读 0赞

**1.kafka的rebalance条件**

条件1：有新的consumer加入
    条件2：旧的consumer挂了
    条件3：coordinator挂了，集群选举出新的coordinator（0.10 特有的）
    条件4：topic的partition新加
    条件5：consumer调用unsubscrible()，取消topic的订阅

当一个group中,有consumer加入或者离开时,会触发partitions均衡,均衡的最终目的,  
是提升topic的并发消费能力。

**1.Coordinator介绍**

Coordinator简单的总结一下就是负责协调组内partition分配，以及Group的管理，  
每个Broker上都有一个GroupCoordinator的实例

负载均衡的过程涉及以下的几个概念：

group member：一个消费组类的成员  
group leader：一个消费组的leader，负责分配partition  
coodinator：协调者

涉及以下几个请求：  
GroupCoordinatorRequest（GCR）  
JoinGroupRequest（JGR）  
SyncGroupRequest（SGR）

**2.主要流程**

2.1 发送GCR请求寻找Coordinator：  
这个过程主要会向集群中负载最小的broker发起请求，等待成功返回后，那么该Broker将作为 Coordinator，尝试连接该Coordinator  
2.2 发送JGR请求加入该组：  
当成功找到Coordinator后，那么就要发起加入group的请求，表示该consumer是该组的成员，Coordinator会接收到该请求，会给集群分配一个Leader（通常是第一个），让其负责partition的分配  
2.3 发送SGR请求：  
JGR请求成功后，如果发现当前Consumer是leader，那么会进行partition的分配，并发起SGR请求将分配结果发送给Coordinator;如果不是leader，那么也会发起SGR请求，不过分配结果为空  
流程图如下:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3MTc0NTM4_size_16_color_FFFFFF_t_70]  
链接：[https://www.jianshu.com/p/296c28d0bb61][https_www.jianshu.com_p_296c28d0bb61]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3MTc0NTM4_size_16_color_FFFFFF_t_70]: /images/20211214/668cf1fb7e53422e8c8b79ffd2a81264.png
[https_www.jianshu.com_p_296c28d0bb61]: https://www.jianshu.com/p/296c28d0bb61