Kafka--消息重复--原因/解决方案

古城微笑少年丶 2022-08-28 11:52 270阅读 0赞

原文网址：[Kafka--消息重复--原因/解决方案\_IT利刃出鞘的博客-CSDN博客][Kafka--_--_IT_-CSDN]

# 简介 #

Kafka的消息重复是消息异常中的一种。其他异常还有：消息丢失、顺序性、消息堆积等。本文只介绍消息重复这种消息异常。

Kafka消息在生产者、Broker、消费者 都可能导致重复。本文介绍什么时候消息会重复（场景）、保证消息不重复（精准一次）的方案。

# 生产者消息重复 #

## **场景1：生产者重试** ##

**描述**

生产发送的消息没有收到正确的broke响应，导致producer重试。

详解：producer发出一条消息，broker落盘以后，因为网络等原因，发送端得到一个发送失败的响应或者网络中断，然后producer收到 一个可恢复的Exception重试消息导致消息重复。

**解决方案**

**启动kafka的幂等性**

**结论**

enable.idempotence=true //此时会默认开启acks=all  
acks=all  
retries>1

**详解**

kafka 0.11.0.0版本之后，正式推出了idempotent producer，支持生产者的幂等。

每个生产者producer都有一个唯一id，producer每发送一条数据都会带上一个sequence，当消息落盘，sequence就会递增1。只需判断当前消息的sequence是否大于当前最大sequence，大于就代表此条数据没有落盘过，可以正常消费；不大于就代表落盘过，这个时候重发的消息会被服务端拒掉从而避免消息重复。

# 消费者消息重复 #

## **场景1**：offset提交失败，消费成功 ##

**描述**

消费者使用自动动提交offset模式，消费者收到消息还没消费时，提交offset并开始消费消息，结果网络异常，offset提交失败、消费消息成功

**解决方案1：业务代码中处理**

**结论**

设置为手动提交模式；手动判断幂等

**详解**

幂等实际上就两种方法:  
(1)、将唯一键存入第三方介质，要操作数据的时候先判断第三方介质(数据库或者缓存)有没有这个唯一键。

(2)、将版本号(offset)存入到数据里面，然后再要操作数据的时候用这个版本号做乐观锁，当版本号大于原先的才能操作。

**解决方案2：**使用kafka的流处理引擎：Kafka Streams（此法用的很少）

**结论**

设置processing.guarantee=exactly\_once，就可以轻松实现exactly once了。

## 情景2：消费成功，offset提交失败 ##

**描述**

消费者使用手动提交offset模式，消费者在消费了消息之后，消费者挂了，还未提交offset

**解决方案1：业务代码中处理**

**结论**

手动判断幂

**详解**

幂等实际上就两种方法:  
(1)、将唯一键存入第三方介质，要操作数据的时候先判断第三方介质(数据库或者缓存)有没有这个唯一键。

(2)、将版本号(offset)存入到数据里面，然后再要操作数据的时候用这个版本号做乐观锁，当版本号大于原先的才能操作。

**解决方案2：使用kafka的流处理引擎：Kafka Streams（此法用的很少）**

设置processing.guarantee=exactly\_once，就可以轻松实现exactly once了。

# 其他网址 #

[kafka消息重复和丢失的场景及解决方案分析\_zhangCheng的博客-CSDN博客][kafka_zhangCheng_-CSDN]  
[Kafka的消息会丢失和重复吗？——如何实现Kafka精确传递一次语义][Kafka_Kafka]

[Kafka--原理--幂等与事务\_IT利刃出鞘的博客-CSDN博客\_kafka 事务原理][Kafka--_--_IT_-CSDN_kafka]

[Kafka--_--_IT_-CSDN]: https://knife.blog.csdn.net/article/details/120514976
[kafka_zhangCheng_-CSDN]: https://blog.csdn.net/qq_39188150/article/details/111415881
[Kafka_Kafka]: https://juejin.cn/post/6844903924655194126#heading-3
[Kafka--_--_IT_-CSDN_kafka]: https://knife.blog.csdn.net/article/details/118543342

发表评论取消回复

表情：

评论列表（有 0 条评论，270人围观）

还没有评论，来说两句吧...

相关阅读

相关带你了解RabbitMQ：消息丢失、重复、积压的原因及其解决方案

前言 > 首先说一点，企业中最常用的实际上既不是RocketMQ，也不是Kafka，而是RabbitMQ。 > > RocketMQ很强大，但主要是阿里推广自己的云产品

分手后的思念是犯贱/ 2024年03月24日 17:20/ 0 赞/ 48 阅读

相关 RabbitMQ：消息丢失 | 消息重复 | 消息积压的原因+解决方案+网上学不到的使用心得

![abd98bd9d993bcfa7266a2408b1c2dc4.png][] image.png 前言 > 首先说一点，企业中最常用的实际上既不是RocketM

你的名字/ 2023年09月27日 11:55/ 0 赞/ 118 阅读

相关 kafka 如何解决消息队列重复消费

1、消息重复消费场景 kafka实际上有个offset的概念，就是每个消息写进去，都有一个offset，代表他的序号，然后consumer消费了数据之后，每隔一段时间，会

女爷i/ 2022年12月15日 14:20/ 0 赞/ 434 阅读

相关 Kafka 消息丢失和消息重复消费

1. 消息丢失 1. producer 的`acks`参数值设置为‘0’或者‘1’，不等待服务器确认或者只让leader确认 > 解决方法：将`ack

系统管理员/ 2022年12月05日 12:11/ 0 赞/ 283 阅读

相关 kafka消息重复和丢失的场景及解决方案分析

消息重复和丢失是kafka中很常见的问题，主要发生在以下三个阶段： 1. 生产者阶段 2. broke阶段 3. 消费者阶段一、生产者阶段重复场景 1、根本

╰+哭是因爲堅強的太久メ/ 2022年10月05日 11:46/ 0 赞/ 455 阅读

相关 Kafka重复消费场景及解决方案

Kafka消费者以消费者组(Consumer Group)的形式消费一个topic，发布到topic中的每个记录将传递到每个订阅消费者者组中的一个消费者实例。Consumer

柔情只为你懂/ 2022年09月15日 11:53/ 0 赞/ 320 阅读

相关 RabbitMq消息丢失原因及其解决方案

RabbitMq消息丢失原因及其解决方案一、RabbitMQ消息丢失原因我们首先了解下一条消息从生产到消费的整个流程如下： ![WX20211006-1215

r囧r小猫/ 2022年09月14日 11:07/ 0 赞/ 666 阅读

相关 RabbitMQ--消息重复/重复消费--原因/如何解决/避免--消息异常

原文网址：[RabbitMQ--消息重复/重复消费--原因/如何解决/避免--消息异常\_IT利刃出鞘的博客-CSDN博客][RabbitMQ--_--_--_IT_-CSDN

阳光穿透心脏的1/2处/ 2022年09月14日 00:22/ 0 赞/ 254 阅读

相关 Kafka--消息丢失--原因/解决方案/零丢失的配置

原文网址：[Kafka--消息丢失--原因/解决方案/零丢失的配置\_IT利刃出鞘的博客-CSDN博客][Kafka--_--_IT_-CSDN] 简介本文介绍Kaf

灰太狼/ 2022年09月13日 00:22/ 0 赞/ 272 阅读

相关 Kafka--消息重复--原因/解决方案

原文网址：[Kafka--消息重复--原因/解决方案\_IT利刃出鞘的博客-CSDN博客][Kafka--_--_IT_-CSDN] 简介 Kafka的消息重复是消息异

古城微笑少年丶/ 2022年08月28日 11:52/ 0 赞/ 271 阅读