如何保证消息不被重复消费？或者说，如何保证消息消费的幂等性？

阳光穿透心脏的1/2处 2023-02-13 08:51 6阅读 0赞

# 分析 #

其实这是很常见的问题，这俩问题基本可以连起来问。既然是消费消息，那肯定要考虑会不会重复消费？能不能避免重复消费？或者重复消费了也别造成系统异常可以吗？这个是MQ领域的基本问题，其实本质上还是问你使用消息队列，如何保证幂等性，这个是你架构上要考虑的⼀个问题。

## 重复消费的问题 ##

⾸先，⽐如RabbitMQ、RocketMQ、Kafka，都有可能会出现消息重复消费的问题，正常。因为这问题通常不是MQ⾃⼰保证的，是由我们开发来保证的。挑⼀个Kafka来举个例⼦，说说怎么重复消费吧。

Kafka实际上有个offset的概念，就是每个消息写进去，都有⼀个offset，代表消息的序号，然后consumer消费了数据之后，每每隔隔⼀⼀段段时时间间（定时定期），会把⾃⼰消费过的消息的offset提交⼀下，表⽰“我已经消费过了，下次我要是重启啥的，你就让我继续从上次消费到的offset来继续消费吧”。

但是凡事总有意外，⽐如我们之前⽣产经常遇到的，就是你有时候重启系统，看你怎么重启了，如果碰到点着急的，直接kill进程了，再重启。这会导致consumer有些消息处理了，但是没来得及提交offset，尴尬了。重启之后，少数消息会再次消费⼀次。

eg:  
有这么个场景。数据1/2/3依次进⼊kafka，kafka会给这三条数据每条分配⼀个offset，代表这条数据的序号，我们就假设分配的offset依次是152/153/154。消费者从kafka去消费的时候，也是按照这个顺序去消费。假如当消费者消费了offset=153的这条数据，  
刚准备去提交offset到zookeeper，此时消费者进程被重启了。那么此时消费过的数据1/2的offset并没有提交，kafka也就不知道你已经消费了offset=153这条数据。那么重启之后，消费者会找kafka说，嘿，哥⼉们，你给我接着把上次我消费到的那个地⽅后⾯的数据  
继续给我传递过来。由于之前的offset没有提交成功，那么数据1/2会再次传过来，如果此时消费者没有去重的话，那么就会导致重复消费。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA3MTc1Mw_size_16_color_FFFFFF_t_70]

如果消费者⼲的事⼉是拿⼀条数据就往数据库⾥写⼀条，会导致说，你可能就把数据1/2在数据库⾥插⼊了2次，那么数据就错啦。其实重复消费不可怕，可怕的是你没考虑到重复消费之后，怎怎么么保保证证幂幂等等性性。

举个例⼦吧。假设你有个系统，消费⼀条消息就往数据库⾥插⼊⼀条数据，要是你⼀个消息重复两次，你不就插⼊了两条，这数据不就错了？但是你要是消费到第⼆次的时候，⾃⼰判断⼀下是否已经消费过了，若是就直接扔了，这样不就保留了⼀条数据，从⽽保证了数据的正确性。

⼀条数据重复出现两次，数据库⾥就只有⼀条数据，这就保证了系统的幂等性。  
幂等性，通俗点说，就⼀个数据，或者⼀个请求，给你重复来多次，你得确保对应的数据是不会改变的，不不能能出出错错。  
所以第⼆个问题来了，怎么保证消息队列消费的幂等性？  
其实还是得结合业务来思考，我这⾥给⼏个思路：  
⽐如你拿个数据要写库，你先根据主键查⼀下，如果这数据都有了，你就别插⼊了，update⼀下好吧。  
⽐如你是写Redis，那没问题了，反正每次都是set，天然幂等性。  
⽐如你不是上⾯两个场景，那做的稍微复杂⼀点，你需要让⽣产者发送每条数据的时候，⾥⾯加⼀个全局唯⼀的id，类似订单id之类的东西，然后你这⾥消费到了之后，先根据这个id去⽐如Redis⾥查⼀下，之前消费过吗？如果没有消费过，你就处理，然后这个id写Redis。如果消费过了，那你就别处理了，保证别重复处理相同的消息即可。  
⽐如基于数据库的唯⼀键来保证重复数据不会重复插⼊多条。因为有唯⼀键约束了，重复数据插⼊只会报错，不会导致数据库中出现脏数据。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA3MTc1Mw_size_16_color_FFFFFF_t_70 1]

当然，如何保证MQ的消费是幂等性的，需要结合具体的业务来看

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA3MTc1Mw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200528100842201.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA3MTc1Mw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA3MTc1Mw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200528100925369.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzA3MTc1Mw==,size_16,color_FFFFFF,t_70