面试之消息队列

àì夳堔傛蜴生んèń 2021-11-17 00:48 411阅读 0赞

**目录**

一、消息队列作用

二、选型

三、rabbitmq高可用性的保证

四、kafka的高可用解决方案

五、消息重复消费

六、rabbitmq怎么避免消息丢失

七、kafka丢失数据

八、怎么保证消息的顺序性

--------------------

来自于《石杉码农》视频

## 一、消息队列作用 ##

为什么使用消息队列

1、异步

不关系返回值

考虑多线程?

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70][]

高延迟，一个请求消耗过长

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 1][]

对于不关心返回时，可以将请求发送队列中，然后由其余系统处理

2、解耦

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 2][]

不方便扩展，当需要增加新系统时，则需要重新修改A系统

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 3][]

增加MQ之后，业务系统只需要从MQ中消费即可，而无需系统A改动，而且系统A无需考虑调用失败与否

（pub/sub模型）

3、消峰

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 4][]

将MQ引入之后，将其当做一个水库，所有上游的流量都在水库里进行留存，然后下游可以慢慢消费

水库冲垮怎么办？?

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 5][]

引入之后的缺点：

*  系统可用性降低:你想啊，本来其他系统只要运行好好的，那你的系统就是正常的。现在你非要加个消息队列进去，那消息队列挂了，你的系统不是呵呵了。因此，系统可用性降低（这个存疑。。。。）
 *  系统复杂性增加:要多考虑很多方面的问题，比如一致性问题、如何保证消息不被重复消费，如何保证保证消息可靠传输。因此，需要考虑的东西更多，系统复杂性增大。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 6][]

## 二、选型 ##

kafka、rabbitmq，activemq，rocketmq

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 7][]

## 三、rabbitmq高可用性的保证 ##

普通模式：无法实现真实的高可用

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 8][]

镜像集群：非分布式

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 9][]

## 四、kafka的高可用解决方案 ##

[https://www.jianshu.com/p/d3e963ff8b70][https_www.jianshu.com_p_d3e963ff8b70]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 10][]

脑裂怎么解决？

[https://www.cnblogs.com/wxzhe/p/10195916.html][https_www.cnblogs.com_wxzhe_p_10195916.html]

## 五、消息重复消费 ##

幂等

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 11][]

消费者消费消息是按照offset顺序，消费完之后，会提交offset到sk中

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 12][]

消费者是定时、定期提交offset，假如在提交之前重启了，则会产生重复消费的问题

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 13][]

根据业务的特点，考虑系统的幂等性

## 六、rabbitmq怎么避免消息丢失 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 14][]

1、生产者丢失数据

*  利用mq的事务功能

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 15][]

*  2.利用confirm机制，回调机制，优于事务机制，吞吐量高于事务机制

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 16][]

2、rabbitmq

开启持久化，可能出现，尚未持久化就挂了的情况

3、消费者端

不要开启autoAck，进行手动ack

## 七、kafka丢失数据 ##

1、生产者

2、kafka丢失数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 17][]

3、消费者端

不要自动提交

## 八、怎么保证消息的顺序性 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 18][]

需要保证顺序性的消息都放入同一个queue中

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 19][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 20][]

kafka保证顺序性：利用了一个key一定会进入一个partition中，并且一个消费者只能顺序消费一个partition中的消息

发生错乱的情形：如果一个消费者有三个线程在消费，则可能出现顺序性问题

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 21][]

利用某种数据的特性，比如订单id，可以每一个线程增加一个内存队列，则根据算法，将同一个订单的消息都处理进入同一个内存队列，这样也就保证了顺序性

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70]: /images/20211116/2894bfc8fd3245939d39642d0533ede8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 1]: /images/20211116/179249432ddb4cbab19bed1f655f6450.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 2]: /images/20211116/d4be50f10d5649bb8d288dfab53f048f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 3]: /images/20211116/233b8ef3f9d84d4db0646fd79df9ddb1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 4]: /images/20211116/3a25f161937140ffab40de96cc90b56c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 5]: /images/20211116/d486de5384cb44f895806bb3ae214c9a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 6]: /images/20211116/458103d7da7e4ad9bfe5c822fc6ca6ad.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 7]: /images/20211116/a824de457bed4e42b11106b880dd581e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 8]: /images/20211116/14b5ac4632234e86a4ff0836e0eb9290.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 9]: /images/20211116/c515d7b5d213494499b28e3d137e8d1a.png
[https_www.jianshu.com_p_d3e963ff8b70]: https://www.jianshu.com/p/d3e963ff8b70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 10]: /images/20211116/f1e80633e34f4877b6c791253609ed9b.png
[https_www.cnblogs.com_wxzhe_p_10195916.html]: https://www.cnblogs.com/wxzhe/p/10195916.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 11]: /images/20211116/030b3bea3f49408587fb894e516d23da.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 12]: /images/20211116/4e8dba517bab4ed98d1c79558f56b17f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 13]: /images/20211116/ca470dfa7b4b479aa489c7ea1a2b80c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 14]: /images/20211116/633bbe3f2b1247da8dc3cb506d9c2b78.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 15]: /images/20211116/060e86febabe4a1c95e3ed420039c4d5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 16]: /images/20211116/c799550097914db4b8669874c38cee5d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 17]: /images/20211116/b1cb18150b1747a8abbafc0119774d80.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 18]: /images/20211116/e7885321de9240ca95b9090525658346.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 19]: /images/20211116/1f27978155a941b1a6c5b92cd665e750.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 20]: /images/20211116/3b7ca8714c9f4cd9ad1208f1d918a124.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hhdmVkcmVhbV9vbmU_size_16_color_FFFFFF_t_70 21]: /images/20211116/b35649d2c6874b6691d3be034c918a07.png