RocketMQ消息乱序场景及解决方法

ゞ浴缸里的玫瑰 2023-07-04 04:56 21阅读 0赞

消息乱序也是RocketMQ中的一个常见问题，那么到底为什么会出现消息乱序呢？

首先我们知道在RocketMQ的Topic中，会有多个MessageQueue作为数据分片，每个MessageQueue都会存储部分的消息，那么在生产者产生消息发送到Topic上的时候，按道理这些消息都会均匀的分布在多个MessageQueue中，假如我现在有多个消息，它们是按照顺序排列的，现在它们分布到了不同的MessageQueue中，消费者组中的多个消费者需要去消费这些数据，每个MessageQueue只能被一个消费者消费，所以这一批有序的消息被多个不同的消费者消费到了，谁先被消费就无法得到保障了。  
![消息乱序场景][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xPX1lVTg_size_16_color_FFFFFF_t_70]  
如上图所示，多个消息分布在多个MessageQueue中，最后被多个不同的消费者消费，就可能会出现消息乱序的场景。

既然知道了消息乱序的产生原因，那么解决起来就简单了，只要**将有序的消息按照顺序都放入同一个MessageQueue中**，最后就能被同一个消费者顺序消费了。  
![顺序执行][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xPX1lVTg_size_16_color_FFFFFF_t_70 1]  
要将消息都发送到同一个MessageQueue中，最简单的方式就是使用取模了，可以根据消息的唯一标识，比如是一个orderId，根据orderId取模然后将一批有序消息放入同一个MessageQueue中，核心代码如下：

SendResult sendResult = producer.send(msg, new MessageQueueSelector() { 
        @Override
        public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) { 
            Integer id = (Integer) arg;
            int index = id % mqs.size();
            return mqs.get(index);
        }
    }, orderId);

完整代码可以去RocketMQ源码中的example包下的ordermessage中查看。

那如果消费者在消费顺序消息的时候，消费失败了，之后的消息该怎么办呢？

常见的消息消费失败之后，我们一般会返回ConsumeConcurrentlyStatus.RECOSUME\_LATER这个状态，这个状态会告诉RocketMQ将这条消息放入到重试队列中稍后重试，但是这样就会导致之后的消息先被消费了。

所以这里我们需要返回ConsumeOrderlyStatus.SUSPEND\_CURRENT\_QUEUE\_A\_MOMENT，这个状态是让当前的队列等一会再继续消费，只有在前面的消息被消费了才能轮到后面的消息，后面的消息都得等着。

所以在消费者的代码中，我们需要使用如下的方法：

@Override
    public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs, ConsumeOrderlyContext context) {     
    	//业务代码 
    	if (消费成功) {   
        	return ConsumeOrderlyStatus.SUCCESS;
        } else { 
        	return ConsumeOrderlyStatus.SUSPEND_CURRENT_QUEUE_A_MOMENT;
        }
    }

按照上面的方案就可以保证消息的顺序消费了。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xPX1lVTg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2020020815424047.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xPX1lVTg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xPX1lVTg_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2020020816131178.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0xPX1lVTg==,size_16,color_FFFFFF,t_70