kafka消息分区机制原理

男娘i 2023-01-15 02:15 205阅读 0赞

# 背景 #

kafka如何支撑海量消息的集中写入？

答案就是消息分区。

核心思想是：负载均衡，采用合适的分区策略把消息写到不同的broker上的分区中；

其它的产品中有类似的思想。

比如monogodb, es 里面叫做 shard;   hbase叫region,  cassdra叫vnode;

# 消息的三层结构 #

如下图：

即  topic -> partition -> message ;

![image.png][]

topic是逻辑上的消息容器；

partition实际承载消息，分布在不同的kafka的broke上；

message即具体的消息。

# 分区策略 #

## round-robin轮询 ##

![image.png][image.png 1]

消息按照分区挨个的写。

## randomness随机分区 ##

随机的找一个分区写入，代码如下：

List<PartitionInfo> partitions = cluster.partitionsForTopic(topic);
    return ThreadLocalRandom.current().nextInt(partitions.size());

![image.png][image.png 2]

## key ##

相同的key的消息写到固定的分区中

![image.png][image.png 3]

## 自定义分区 ##

必须完成两步：

1，自定义分区实现类，需要实现org.apache.kafka.clients.producer.Partitioner接口。

主要是实现下面的方法：

int partition(String topic, Object key, byte[] keyBytes, 
                  Object value, byte[] valueBytes, Cluster cluster);

比如按照区域分区。

List<PartitionInfo> partitions = cluster.partitionsForTopic(topic);
    return partitions.stream().filter(p -> isSouth(p.leader().host()))
        .map(PartitionInfo::partition).findAny().get();

2，显示配置生产者端的参数partitioner.class为具体的类

系统默认：如果消息有key,按照key分区策略，否则按照轮询策略。

# 小结 #

kafka的分区实现消息的高吞吐量的主要依托，主要是实现了写的负载均衡。可以指定各种负载均衡算法。  
负载均衡算法非常重要，需要极力避免消息分区不均的情况，可能给消费者带来性能瓶颈。

小结如下：

![image.png][image.png 4]

> 原创不易，点赞关注支持一下吧！转载请注明出处，让我们互通有无，共同进步，欢迎沟通交流。

[image.png]: /images/20221022/bb7d5d9fd6a743f084ba3fc7fbad04db.png
[image.png 1]: /images/20221022/2f5ecb61156c42e3815ee18188b3c6e2.png
[image.png 2]: /images/20221022/4d052cb9dcf246debc8cdfaf715ba689.png
[image.png 3]: /images/20221022/8fa58aa5ad124584b06cd41c8180cece.png
[image.png 4]: /images/20221022/9fcb80fa70004f70a12a8199706da3c8.png