Kafka消息队列怎么保证exactlyOnce以及顺序消费

小灰灰 2024-02-17 10:39 55阅读 0赞

#### Kafka消息队列怎么保证exactlyOnce以及顺序消费 ####

*  Kafka的运行机制
 *  exactlyOnce的含义
 *   *  1. At Most Once
     *  2. At Least Once
     *  3. Exactly Once
 *  Kafka如何保证exactlyOnce
 *  顺序性消费

## Kafka的运行机制 ##

当我们向某个Topic发送消息的时候，在Kafka的Broker上会通过Partition分区的机制来实现消息的物理存储。  
![在这里插入图片描述][e35df9790df54bbfb0a7ab222cfc9db8.png]  
一个Topic可以有多个Paritition，相当于把一个Topic里面的N个消息数据进行一个分片存储。消费端去消费的时候会从指定的Paritition里面去获取。

在同一个消费组中，一个消费者可以消费多个Partition中的数据。但是消费者的数量只能小于或者等于Partition分区的数量。

## exactlyOnce的含义 ##

在MQ的消息传递中有三种语义。

### 1. At Most Once ###

消息投递最多一次，可能会丢但不会出现重复。

### 2. At Least Once ###

消息投递至少一次，可能会出现重复但不会丢。

### 3. Exactly Once ###

消息投递正好一次，不会出现重复也不会丢。

## Kafka如何保证exactlyOnce ##

准确来说，目前市面上MQ产品基本上都没有提供ExactlyOnce的一个语义实现。

我们只能通过一些其他手段去达到ExactlyOnce的一个效果。也就是说确保生产者只发送一次，消费端只接受一次。

1.  生产者可以采用**事务消息**的方式，事务可以**支持多分区的数据完整性，原子性**，并且可以支持跨会话的ExactlyOnce的一个处理语义。即使生产者宕机重启，依旧能够保证数据只处理一次。**开启事务首先需要开启幂等性**，并设置这样一个参数为true（enable.idempotence）,然后对生产者的消息发送做一个事务控制。如果出现导致生产者重试的错误，这个消息只能写到Kafka broker的日志中一次。
2.  虽然生产者能够保证在Kafka broker上只记录唯一一条消息，但是由于网络延迟的存在，有可能会导致Broker在投递消息给消费者的时候触发重试，导致投递多次。所以作为**消费端可以采用幂等性的机制**来避免重试来的的重复消费的问题。

## 顺序性消费 ##

在Kafka里面，每个Paritition分区的消息本身就是按顺序来存储的。

所以只需要针对Topic设置一个Paritition，这样就可以保证所有消息都能够写入到这个Partition里面。

而消费者这边只需要去消费这个分区，就可以实现消息的顺序处理。

**参考资料**：[Kafka消息队列怎么保证exactlyOnce以及顺序消费][Kafka_exactlyOnce]

[e35df9790df54bbfb0a7ab222cfc9db8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/10f8aaf520784ebaa2cec8adccd95e79.png
[Kafka_exactlyOnce]: https://www.bilibili.com/video/BV1iV4y1m7wy?p=5&vd_source=a1af903e57688df870625021f7f3a7eb