kafka 如何解决消息队列重复消费

女爷i 2022-12-15 14:20 433阅读 0赞

## **1、消息重复消费场景** ##

kafka实际上有个offset的概念，就是每个消息写进去，都有一个offset，代表他的序号，然后consumer消费了数据之后，每隔一段时间，会把自己消费过的消息的**offset提交**一下，代表已经消费过了，下次消费时，会继续从上次消费到的最后一次offset来继续消费。但是凡事总有意外，比如我们之前生产经常遇到的，就是你有时候**重启系统**，看你怎么重启了，如果碰到点着急的，直接kill进程了，再重启。这会导致consumer有些消息处理了，但是**没来得及提交offset**。重启之后，少数消息会**再次消费**一次。

## **2、如何保证消息重复消费后的幂等性** ##

其实重复消费不可怕，可怕的是没考虑到重复消费之后，怎么保证**幂等性（**一个数据，或者一个请求，给你重复来多次，你得确保对应的数据是不会改变的，不能出错**）**。

假设你有个系统，消费一条往数据库里插入一条，要是你一个消息重复两次，你不就插入了两条，这数据不就错了？但是你要是消费到第二次的时候，**自己判断一下是否已经消费过了**，则直接扔了。一条数据重复出现两次，数据库里就只有一条数据，这就保证了系统的幂等性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA4OTk5ODU_size_16_color_FFFFFF_t_70][]

结合业务来思考，我这里给几个思路：

（1）数据写库时，你先**根据主键查询**一下，如果这数据都有了，则不进行插入，而**直接进行update处理，**如果是写redis，那没问题了，反正每次都是set，具有天然幂等性。

（2）让生产者发送每条数据的时候，数据里面加一个**全局唯一的id**，类似订单id之类的东西，然后你这里消费到了之后，先根据这个id 去数据库中查询，如果没有消费过，将该数据写入。如果消费过了，就不进行处理， 保证别重复处理相同的消息即可。

（3）基于数据库的**唯一键**来保证重复数据不会重复插入多条，因为有唯一键约束了，所以重复数据只会**插入报错**，不会导致数据库中出现脏数据。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA4OTk5ODU_size_16_color_FFFFFF_t_70]: /images/20221123/573b4c5ed6114a7d85261c82cbf460e2.png