面试 - kafka中partition和消费者对应关系

比眉伴天荒 2022-03-18 04:38 218阅读 0赞

简洁易懂的总结需要Mark

**1个partition只能被同组的一个consumer消费，同组的consumer则起到均衡效果**

> ### 消费者多于partition ###

topic： test 只有一个partition  
创建一个topic——test，

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

在g2组中启动两个consumer，

1. bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning --consumer.config config/consumer_g2.properties
    2. bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning --consumer.config config/consumer_g2.properties

消费者数量为2大于partition数量1，此时partition和消费者进程对应关系如下：

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group g2

TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
    test 0 9 9 0 consumer-1-4a2a4aa8-32f4-4904-9c16-1c0bdf7128a2 /127.0.0.1 consumer-1
    - - - - - consumer-1-fd7b120f-fd21-4e07-8c23-87b71c1ee8a5 /127.0.0.1 consumer-1

消费者consumer-1-fd7b120f-fd21-4e07-8c23-87b71c1ee8a5无对应的partition。  
用图表示为

![webp][]

如上图，向test发送消息：1，2， 3，4，5，6，7，8，9  
只有C1能接收到消息，C2则不能接收到消息，

**即同一个partition内的消息只能被同一个组中的一个consumer消费。当消费者数量多于partition的数量时，多余的消费者空闲。**  
**也就是说如果只有一个partition你在同一组启动多少个consumer都没用，partition的数量决定了此topic在同一组中被可被均衡的程度，例如partition=4，则可在同一组中被最多4个consumer均衡消费。**

> ### 消费者少于和等于partition ###

topic：test2包含3个partition

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test2

则对应关系如下：

TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
    test2 0 8 8 0 consumer-1-8b872ef7-a2f0-4bd3-b2a8-7b26e4d8ab2c /127.0.0.1 consumer-1
    test2 1 7 7 0 consumer-1-8b872ef7-a2f0-4bd3-b2a8-7b26e4d8ab2c /127.0.0.1 consumer-1
    test2 2 8 8 0 consumer-1-f362847d-1094-4895-ad8b-1e1f1c88936c /127.0.0.1 consumer-1

其中，consumer-1-8b872ef7-a2f0-4bd3-b2a8-7b26e4d8ab2c对应了2个partition  
用图表示为：

![webp 1][]

消费者数量2小于partition的数量3，此时，向test2发送消息1，2，3，4，5，6，7，8，9  
C1接收到1，3，4，6，7，9  
C2接收到2，5，8  
**此时P1、P2对对应C1，即多个partition对应一个消费者，C1接收到消息量是C2的两倍**  
然后，在g3组中再启动一个消费者，使得消费者数量为3等于topic2中partition的数量

3.bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test2 --from-beginning --consumer.config config/consumer_g3.properties

对应关系如下：

TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
    test2 0 8 8 0 consumer-1-8b872ef7-a2f0-4bd3-b2a8-7b26e4d8ab2c /127.0.0.1 consumer-1
    test2 1 7 7 0 consumer-1-ab472ed5-de11-4e56-863a-67bf3a3cc36a /127.0.0.1 consumer-1
    test2 2 8 8 0 consumer-1-f362847d-1094-4895-ad8b-1e1f1c88936c /127.0.0.1 consumer-1

此时，partition和消费者是一对一关系，向test2发送消息1，2，3，4，5，6，7，8，9  
C1接收到了：2，5，8  
C2接收到了：3，6，9  
C3接收到了：1，4，7  
C1，C2，C3均分了test2的所有消息，即**消息在同一个组之间的消费者之间均分了!**

> ### 多个消费者组 ###

启动g4组，仅包含一个消费者C1，消费topic2的消息，此时消费端有两个消费者组

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test2 --from-beginning --consumer.config config/consumer_g4.properties --delete-consumer-offsets

g4组的C1的对应了test2的所有partition:

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group g4

TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID
    test2 0 36 36 0 consumer-1-befc9234-260d-4ad3-b283-b67a2bf446ca /127.0.0.1 consumer-1
    test2 1 35 35 0 consumer-1-befc9234-260d-4ad3-b283-b67a2bf446ca /127.0.0.1 consumer-1
    test2 2 36 36 0 consumer-1-befc9234-260d-4ad3-b283-b67a2bf446ca /127.0.0.1 consumer-1

用图表示为

![webp 2][]

如上图，向test2发送消息1，2，3，4，5，6，7，8，9  
那么g3组各个消费者及g4组的消费者接收到的消息是怎样地呢？欢迎思考！！  
答案：  
消息被g3组的消费者均分，g4组的消费者在接收到了所有的消息。  
g3组：  
C1接收到了：2，5，8  
C2接收到了：3，6，9  
C3接收到了：1，4，7  
g4组：  
C1接收到了：1，2，3，4，5，6，7，8，9  
**启动多个组，则会使同一个消息被消费多次**

consult :

https://www.jianshu.com/p/6233d5341dfe

[webp]: /images/20220318/7584b0b01865461b9860b7b1811ab257.png
[webp 1]: /images/20220318/0ca13e9e29464b7bab982701289b7eac.png
[webp 2]: /images/20220318/61c28937b2f54ccbbd5e24f66eb8cf1c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，218人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kafka——》consumer和partition关系

> 推荐链接： > [总结——》【Java】][Java] > [总结——》【Mysql】][Mysql] > [总结——》【Redis】][Redis] >

拼搏现实的明天。/ 2024年03月31日 15:22/ 0 赞/ 94 阅读

相关 kafka中consumer和partition的对应关系

参考文章：[https://www.cnblogs.com/gxyandwmm/p/11442328.html][https_www.cnblogs.com_gxyandwmm

深藏阁楼爱情的钟/ 2023年02月27日 10:42/ 0 赞/ 107 阅读

相关 Kafka分区与消费者的关系

from: [https://www.cnblogs.com/cjsblog/p/9664536.html][https_www.cnblogs.com_cjsblog_p_9

小灰灰/ 2022年12月03日 01:56/ 0 赞/ 164 阅读

相关 kafka的topic,broker,partition之间的关系

一个topic对应多个partition，partition分布在多broker上，多broker一起提供kafka服务。 kafka中，Topic是一个存储消息的

迷南。/ 2022年11月05日 00:53/ 0 赞/ 211 阅读

相关 Kafka实现生产者消费者自定义partition

KafkaAPI实现生产者与消费者自定义Partition，奇数、偶数数据分在不同的Partition. 思路创建三个类，包括Consumer、Producer、

刺骨的言语ヽ痛彻心扉/ 2022年05月25日 12:19/ 0 赞/ 216 阅读

相关 Kafka——分区partition

在之前的例子里([Kafka生产者——向 Kafka写入数据][Kafka_ Kafka])， ProducerRecord 对象包含了目标主题、键和值。 Kafka 的消息是

我就是我/ 2022年05月17日 12:27/ 0 赞/ 300 阅读

相关面试 - kafka中partition和消费者对应关系

简洁易懂的总结需要Mark 1个partition只能被同组的一个consumer消费，同组的consumer则起到均衡效果 > 消费者多于partition top

比眉伴天荒/ 2022年03月18日 04:38/ 0 赞/ 219 阅读

相关 kafka partition

这里写自定义目录标题 kafka partition kafka partition 一个topic 可以配置几个partition，produce

男娘i/ 2022年03月16日 16:48/ 0 赞/ 245 阅读

相关关于kafka更改消费者对应分组下的offset值

kafka的offset保存位置分为两种情况 0.9.0.0版本之前默认保存在zookeeper当中 0.9.0.0版本之后保存在broker对应的topic当中

悠悠/ 2022年01月28日 08:51/ 0 赞/ 506 阅读

相关 Kafka分区与消费者的关系

[https://www.cnblogs.com/kaichenkai/p/11959392.html][https_www.cnblogs.com_kaichenkai_p_

「爱情、让人受尽委屈。」/ 2021年06月22日 15:38/ 0 赞/ 490 阅读