一图全解Kafka在zookeeper中的数据结构

你的名字 2022-09-10 10:09 158阅读 0赞

>  kafka管控平台推荐使用  滴滴开源   的  [Kafka运维管控平台(戳我呀)  ][Kafka_] 更符合国人的操作习惯  、更强大的管控能力  、更高效的问题定位能力  、更便捷的集群运维能力  、更专业的资源治理  、更友好的运维生态  、

大家好,我是石臻臻,这是 [ 「kafka专栏」  ][_kafka_] 连载中的第「10」篇文章…

首发: [一图全解Kafka在zookeeper中的数据结构][Kafka_zookeeper]

一图知全貌

![kafka在zookeeper中的数据结构][kafka_zookeeper]

### /cluster ###

#### /cluster/id 持久数据节点 ####

> 集群ID  
> 当第一台Broker启动的时候, 发现`/cluster/id`不存在,那么它就会把自己的`cluster.id`配置写入zk; 标记当前zk是属于集群哪个集群; 后面其他的Broker启动的时候会去获取该数据, 如果发现数据跟自己的配置不一致; 则抛出异常,加入的不是同一个集群;  
> 数据示例：`{"version":"1","id":"0"}`

### /controller\_epoch 持久数据节点 ###

> Controller选举次数;

### /Controller 临时数据节点 ###

> 当前Controller角色的BrokerId,数据示例:  
> `{"version":1,"brokerid":0,"timestamp":"1624415590383"}`  
> 删除该节点立马触发重新选举

### /log\_dir\_event\_notification ###

> zk的数据中有一个节点`/log_dir_event_notification/`，这是一个序列号持久节点  
> 这个节点在kafka中承担的作用是: 当某个Broker上的LogDir出现异常时(比如磁盘损坏,文件读写失败,等等异常): 向zk中谢增一个子节点`/log_dir_event_notification/log_dir_event_序列号` ；Controller监听到这个节点的变更之后,会向Brokers们发送`LeaderAndIsrRequest`请求; 然后做一些副本脱机的善后操作  
> 详情请看 【kafka源码】/log\_dir\_event\_notification的LogDir脱机事件通知

### /isr\_change\_notification/log\_dir\_event\_\{序列号\} ###

> 当Isr有变更的时候,会写入这个节点Controller监听变更

### /admin ###

#### /admin/delete\_topics 待删除Topic ####

##### /admin/delete\_topics/\{topicName\} 持久节点,待删除Topic #####

> 存在此节点表示 当前Topic需要被删除

#### /admin/reassign\_partitions 持久数据节点 ####

> 如果有此节点,表示当前正在进行数据迁移,里面的数据就是正在迁移的配置  
> 示例数据: ![在这里插入图片描述][20210624183757750.png]

### /brokers ###

#### /brokers/seqid ####

> **`/brokers/seqid`: 全局序列号**  
> 里面没有数据,主要是用了节点的`dataVersion`信息来当全局序列号
> 
> **在kafka中的作用: 自动生成BrokerId**  
> 主要是用来自动生成brokerId;  
> 一个集群如果特别大,配置brokerId的时候不能重复,一个个设置比较累; 可以让Broker自动生成BrokerId

`server.properties` 配置

## 设置Brokerid能够自动生成
    broker.id.generation.enable=true
    ## 设置BrokerId<0 （如果>=0则以此配置为准）
    broker.id=-1
    ## 自动生成配置的起始值
    reserved.broker.max.id=20000

BrokerId计算方法

> brokerId = \{reserved.broker.max.id\} +`/brokers/seqid`.dataVersion
> 
> 每次想要获取`/brokers/seqid`的dataVersion值的时候都是用 set方法,set的时候会返回version数据,并不是get；每次set这个节点数据,版本信息就会自增;所以就实现了全局自增ID了；

#### /brokers/ids/\{id\} 临时数据节点 : 在线BrokerID ####

> 在线的Broker都会在这里注册一个节点; 下线自动删除

#### /brokers/topics/\{topicName\}持久数据节点 ####

> 存储 topic的分区副本分配信息  
> 例如：`{"version":1,"partitions":{"0":[0]}}`
> 
> ##### /brokers/topics/\{topicName\}/\{分区号\}/state 持久数据节点 #####
> 
> 存储指定分区的`leader`和`isr`等信息  
> 例如:`{"controller_epoch":203,"leader":0,"version":1,"leader_epoch":0,"isr":[0]}`

--------------------

你好,我是石臻臻,工作8年的互联网老兵,丰富的开发和管理经验, 现在任职于「 滴滴技术专家 」岗位,从事开源建设工作,公众号讲解 Java/中间件/大数据 等技术栈相关内容,欢迎关注石臻臻,进滴滴 「 高质量 」 「 滴滴开源技术答疑群 」 , 群内每周技术专家轮流值班答疑,加石臻臻微信交个朋友,交流交流技术分享分享生活

可帮忙 「 内推 」一二线大厂

[Kafka_]: https://github.com/didi/LogiKM
[_kafka_]: https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg4ODY1NTcxNg==&action=getalbum&album_id=1966026980307304450
[Kafka_zookeeper]: https://www.szzdzhp.com/kafka/other/kafka-zk-data.html
[kafka_zookeeper]: /images/20220829/ed77049a11274ed8ab4e21fd77bafe3f.png
[20210624183757750.png]: /images/20220829/65bbd49f3fe640d6a2721b8d351212fb.png