Kafka（六）------Zookeeper在Kafka中发挥的作用

快来打我* 2023-02-20 06:26 17阅读 0赞

## 1、Broker注册 ##

Broker是分布式部署并且相互之间相互独立，但是需要有一个注册系统能够将整个集群中的Broker管理起来；

Broker在zookeeper中保存为一个临时节点，节点的路径是/brokers/ids/\[brokerid\],每个节点会保存对应broker的IP以及端口等信息；

Kafka的每个broker启动时，都要先到zookeeper中注册，因此在整个集群中，broker.id要求全局唯一；

其中，Broker创建的节点类型是临时节点，一旦Broker宕机，则对应的临时节点也会被自动删除。

> 全部节点：/brokers/ids  
> 节点路径：/brokers/ids/\{broker.id\}

# 打开zk客户端
    cd /usr/local/zookeeper/apache-zookeeper-3.6.1-bin
    ./bin/zkCli.sh
    # 查看注册的Broker.id
    ls /brokers/ids

![在这里插入图片描述][20200623214532328.png]

## 2、topic的注册 ##

在Kafka中，同一个Topic的消息会被分成多个分区并将其分布在多个Broker上，这些分区信息及与Broker的对应关系也都是由Zookeeper在维护，由专门的节点来记录；

> 节点路径：/brokers/topics/\{topic\_name\}

ls /brokers/topics

![在这里插入图片描述][20200623220141718.png]

## 3、生产者负载均衡 ##

同一个Topic消息会被分区并将其分布在多个Broker上，因此，生产者需要将消息合理地发送到这些分布式的Broker上，那么如何实现生产者的负载均衡，Kafka支持传统的四层负载均衡，也支持Zookeeper方式实现负载均衡。

(1) 四层负载均衡，根据生产者的IP地址和端口来为其确定一个相关联的Broker。通常，一个生产者只会对应单个Broker，然后该生产者产生的消息都发往该Broker。这种方式逻辑简单，每个生产者不需要同其他系统建立额外的TCP连接，只需要和Broker维护单个TCP连接即可。但是，其无法做到真正的负载均衡，因为实际系统中的每个生产者产生的消息量及每个Broker的消息存储量都是不一样的，如果有些生产者产生的消息远多于其他生产者的话，那么会导致不同的Broker接收到的消息总数差异巨大，同时，生产者也无法实时感知到Broker的新增和删除。

(2) 使用Zookeeper进行负载均衡，由于每个Broker启动时，都会完成Broker注册过程，生产者会通过该节点的变化来动态地感知到Broker服务器列表的变更，这样就可以实现动态的负载均衡机制。

## 4、消费者负载均衡 ##

与生产者类似，Kafka中的消费者同样需要进行负载均衡来实现多个消费者合理地从对应的Broker服务器上接收消息，每个消费者分组包含若干消费者，每条消息都只会发送给分组中的一个消费者，不同的消费者分组消费自己特定的Topic下面的消息，互不干扰。

## 5、消费者与分区的对应关系 ##

对于每个消费者分组，kafka都会为其分配一个全局唯一的Group ID,分组内的所有消费者会共享该ID,kafka还会为每个消费者分配一个consumer ID,通常采用hostname:uuid的形式。在kafka的设计中规定，对于topic的每个分区，最多只能被一个消费者进行消费，也就是消费者与分区的关系是一对多的关系。消费者与分区的关系也被存储在zookeeper中

> 路径：/consumers/\[group\_id\]/owners/\[topic\]/\[broker\_id-partition\_id\]

## 6、consumer(消费者)在zk中注册 ##

**注册新的消费者**，当有新的消费者注册到zk中，zk会创建专用的节点来保存相关信息。路径ls /consumers/\{group\_id\}/ \[ids,owners,offset\]，Ids:记录该消费分组有几个正在消费的消费者，Owmners：记录该消费分组消费的topic信息，Offset：记录topic每个分区中的每个offset

**监听消费者分组中消费者的变化** ,监听/consumers/\{group\_id\}/ids的子节点的变化，一旦发现消费者新增或者减少及时调整消费者的负载均衡

## 7、消费者的消费进度Offset 记录 ##

在消费者对指定消息分区进行消息消费的过程中，需要定时地将分区消息的消费进度Offset记录到Zookeeper上，以便在该消费者进行重启或者其他消费者重新接管该消息分区的消息消费后，能够从之前的进度开始继续进行消息消费。Offset在Zookeeper中由一个专门节点进行记录。

## 8、总结 ##

在kafka0.9后的版本，kakfa的broker、topics、消费者等相关信息都存在zk的节点上，并且zk提供了对kafka的动态负载均衡等机制。

0.9版本以前offset存储在zookeeper，0.9版本以后offset存储在kafka本地

[20200623214532328.png]: https://img-blog.csdnimg.cn/20200623214532328.png
[20200623220141718.png]: https://img-blog.csdnimg.cn/20200623220141718.png