分布式消息队列RocketMQ&Kafka -- 消息的“顺序消费”-- 一个看似简单的复杂问题

ゝ一纸荒年。 2022-05-09 13:20 38阅读 0赞

在说到消息中间件的时候，我们通常都会谈到一个特性：消息的顺序消费问题。这个问题看起来很简单：Producer发送消息1, 2, 3。。。 Consumer按1, 2, 3。。。顺序消费。

但实际情况却是：无论RocketMQ，还是Kafka，缺省都不保证消息的严格有序消费！

这个特性看起来很简单，但为什么缺省他们都不保证呢？

有兴趣朋友可以关注公众号“架构之道与术”， 获取最新文章和进一步讨论。   
或扫描如下二维码：

“严格的顺序消费”有多么困难  
下面就从3个方面来分析一下，对于一个消息中间件来说，”严格的顺序消费”有多么困难，或者说不可能。

发送端  
发送端不能异步发送，异步发送在发送失败的情况下，就没办法保证消息顺序。

比如你连续发了1，2，3。 过了一会，返回结果1失败，2, 3成功。你把1再重新发送1遍，这个时候顺序就乱掉了。

存储端  
对于存储端，要保证消息顺序，会有以下几个问题：   
（1）消息不能分区。也就是1个topic，只能有1个队列。在Kafka中，它叫做partition；在RocketMQ中，它叫做queue。 如果你有多个队列，那同1个topic的消息，会分散到多个分区里面，自然不能保证顺序。

（2）即使只有1个队列的情况下，会有第2个问题。该机器挂了之后，能否切换到其他机器？也就是高可用问题。

比如你当前的机器挂了，上面还有消息没有消费完。此时切换到其他机器，可用性保证了。但消息顺序就乱掉了。

要想保证，一方面要同步复制，不能异步复制；另1方面得保证，切机器之前，挂掉的机器上面，所有消息必须消费完了，不能有残留。很明显，这个很难！！！

接收端  
对于接收端，不能并行消费，也即不能开多线程或者多个客户端消费同1个队列。

总结  
从上面的分析可以看出，要保证消息的严格有序，有多么困难！

发送端和接收端的问题，还好解决一点，限制异步发送，限制并行消费。但对于存储端，机器挂了之后，切换的问题，就很难解决了。

你切换了，可能消息就会乱；你不切换，那就暂时不可用。这2者之间，就需要权衡了。

业务需要全局有序吗？  
通过上面分析可以看出，要保证一个topic内部，消息严格的有序，是很困难的，或者说条件是很苛刻的。

那怎么办呢？我们一定要使出所有力气、用尽所有办法，来保证消息的严格有序吗？

这里就需要从另外一个角度去考虑这个问题：业务角度。正如在下面这篇博客中所说的：   
http://www.jianshu.com/p/453c6e7ff81c

实际情况中：   
（1）不关注顺序的业务大量存在；   
（2） 队列无序不代表消息无序。

第（2）条的意思是说：我们不保证队列的全局有序，但可以保证消息的局部有序。

举个例子：保证来自同1个order id的消息，是有序的！

下面就看一下在Kafka和RocketMQ中，分别是如何对待这个问题的：

Kafka中：发送1条消息的时候，可以指定(topic, partition, key) 3个参数。partiton和key是可选的。

如果你指定了partition，那就是所有消息发往同1个partition，就是有序的。并且在消费端，Kafka保证，1个partition只能被1个consumer消费。

或者你指定key（比如order id），具有同1个key的所有消息，会发往同1个partition。也是有序的。

RocketMQ： RocketMQ在Kafka的基础上，把这个限制更放宽了一步。只指定(topic, key)，不指定具体发往哪个队列。也就是说，它更加不希望业务方，非要去要一个全局的严格有序。

关键点：这个放开，其实牵涉到一个更大的问题。就是RocketMQ和Kafka在底层存储上面的重大差异。这个我在上1篇，”拨乱反正“”续篇中，有过介绍。

后面在源码分析序列中，会进一步分析这个问题。

关于“消息顺序”这个问题，就讨论到此为止。  
\---------------------   
作者：travi   
来源：CSDN   
原文：https://blog.csdn.net/chunlongyu/article/details/53977819?utm\_source=copy   
版权声明：本文为博主原创文章，转载请附上博文链接！

发表评论取消回复

表情：

评论列表（有 0 条评论，38人围观）

还没有评论，来说两句吧...

相关阅读

相关 RocketMQ如何保证消息的顺序消费？

RocketMQ 提供了一种可靠的方式来保证消息的顺序消费，具体是通过以下机制来实现的： 1. 单队列顺序消费：在某些场景下，一个 Topic 只有一个消息队列，这时消息的

野性酷女/ 2024年02月19日 07:46/ 0 赞/ 48 阅读

相关 Kafka消息队列怎么保证exactlyOnce以及顺序消费

Kafka消息队列怎么保证exactlyOnce以及顺序消费 Kafka的运行机制 exactlyOnce的含义 1. At Most Once

小灰灰/ 2024年02月17日 10:39/ 0 赞/ 70 阅读

相关消息队列如何保证不重复消费消息

问题背景当使用消息队列时，客户端重复消费可能会成为一个严重的问题。这是因为消息队列具有持久性和可靠性的特性，确保消息能够被成功传递给消费者。然而，这也会导致客户端在某

秒速五厘米/ 2023年10月15日 09:38/ 0 赞/ 170 阅读

相关消息队列中如何保证消息的顺序性

消息队列中如何保证消息的顺序性场景说明官方文档如何保证消息的顺序性生产顺序性消费顺序性消费建议场景说明

梦里梦外;/ 2023年10月13日 20:54/ 0 赞/ 92 阅读

相关队列消息重复消费解决

如何保证消息不被重复消费（如何保证消息消费时的幂等性）？其实这个很常见的一个问题，这俩问题基本可以连起来问。既然是消费消息，那肯定要考虑考虑会不会重复消费？能不能避免重

曾经终败给现在/ 2023年06月10日 14:30/ 0 赞/ 47 阅读

相关分布式消息队列

一、消息队列概述消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量销峰等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的

我会带着你远行/ 2023年01月02日 01:28/ 0 赞/ 168 阅读

相关【Kafka】——顺序消费、重复消费、消息丢失

前言 Kafka可以说是为分布式而生的一个消息中间件，功能很强大，提到这个，我们可能就会想到消息中间件常提到的几个问题，消费的顺序性、重复消费、消息丢失等问题，接下来我们

逃离我推掉我的手/ 2022年10月05日 11:00/ 1 赞/ 459 阅读

相关分布式消息队列RocketMQ&Kafka -- 消息的“顺序消费”-- 一个看似简单的复杂问题

在说到消息中间件的时候，我们通常都会谈到一个特性：消息的顺序消费问题。这个问题看起来很简单：Producer发送消息1, 2, 3。。。 Consumer按1, 2, 3。。。

ゝ一纸荒年。/ 2022年05月09日 13:20/ 0 赞/ 39 阅读

相关 ActiveMQ顺序消费消息+消息分组

简介 Queue中的消息是按照顺序发送给Consumers的。然而，当你有多个Consumer同时从相同的Queue提取消息时，顺序将不能得到保证。因为这些消息时被多个线

淩亂°似流年/ 2022年02月22日 16:48/ 0 赞/ 582 阅读

相关 RabbitMQ 消息重复和消息顺序消费

> RabbitMQ 消息重复和消息顺序消费 1.【消息重复】：要不保证消息幂等性，要不就用map记录任务状态. 首先我们可以确认的是，触发消息重复执行的条件会是

清疚/ 2022年01月26日 09:05/ 0 赞/ 521 阅读