面试官：说出八种消息队列的应用场景。啊？八种？

布满荆棘的人生 2022-12-25 04:56 85阅读 0赞

![\_1][1]

一个风度翩翩，穿着格子衬衣的中年男子，拿着一个满是划痕的mac向她走来，看着铮亮的头，胖滚猪心想，这肯定是顶级架构师吧！完了

结果面试官第一个问题，就让胖滚猪内心暗喜

**面试官**：消息队列这东西，你还熟悉吧？消息队列在企业中的应用场景有哪些？

(这么基础的问题，手到擒来好吗？原来阿里不过如此。)

**胖滚猪**：嗯嗯，还挺熟悉的，可以用于流量削峰、应用解耦、异步处理。

**面试官**：就这三种吗？能不能再多说几个应用。起码八种吧。

(胖滚猪火冒三丈，尼玛八种哪来的？玩我呢？但是出于礼貌，还是毕恭毕敬的回答面试官)

**胖滚猪**：额。。有这么多吗？不好意思，一时之间想不起来了呢。

**面试官**：哎。。大家都知道的我们不屑，就想听听不一样的。回家去吧

胖滚猪内心挫败，平时五毛钱都舍不得花的抠猪，豪掷100大洋打了飞车来到导师胖滚熊家里求助。

![\_2][2]

**胖滚熊**：我先给你归纳了消息队列八种场景，如图所示，接下来我们再仔细说说每种场景的应用方案。

![image][]

首先还是要介绍一下流量削峰、应用解耦、异步处理的具体应用，虽然网上文章到处都有，不过毕竟它们是老大，老大不出场小二也不敢乱动。如果你很熟悉了，可以直接跳过！

# 应用解耦： #

某电商系统架构如图，用户下单之后首先进入订单系统，之后订单系统又将订单信息发送给物流系统和短信系统：

![image][image 1]

码农胖滚猪很快就写完了相关代码：

OrderInfo orderInfo = new OrderInfo();
            //省略组装订单信息
            sendToMessage(orderInfo);//发送给短信系统
            sendToLogistics(orderInfo);//发送给物流系统

一切就这么平安无事过了大半月，领导又要搞啥实时大屏，实时展示当天订单量，于是订单系统又要将订单信息发送给实时大屏系统

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5MjE5MjE_size_16_color_FFFFFF_t_70][]

也没关系，码农胖滚猪又改了订单系统的代码，重新上线：

OrderInfo orderInfo = new OrderInfo();
            //省略组装订单信息
            sendToMessage(orderInfo);//发送给短信系统
            sendToLogistics(orderInfo);//发送给物流系统
            sendToRealTimeSys();//发送给实时分析系统

随着公司业务的壮大，订单信息又要发送给监控系统、数据挖掘系统。。。这会胖滚猪不淡定了“到底何时是个头呀！”

不仅如此，一旦下游某个系统异常，直接导致订单系统也异常了，时常收到顾客的投诉 “你们这电商系统！不用了！”

嗨，胖滚猪，早知如此何必当初呢？在1.0版本你就不应该让系统之间相耦合呀！如图：

![image][image 2]

订单系统只管将订单信息发到消息队列中，其他系统都从消息队列中拿数据。这样一来:

1、订单系统再也不用关心谁要用了，即使增加、减少下游系统或是下游系统需求如何变化，订单服务都无需做任何更改，实现了订单服务与下游服务的解耦！可以一个人自由飞翔了~  
2、其他系统即便挂了或者请求超时，都跟订单系统无关，只跟消息队列有关。

哇，这样真是太爽了！和花钱一样爽！

# 异步处理 #

最近胖滚猪负责的用户系统一直被投诉，原因是太慢了！点击确认注册之后要1s才返回结果。你看看人家阿里的系统，点击注册10ms就可以返回结果了！

可是胖滚猪表示很无能为力，注册之后要写数据库、要发短信、还要发邮件，你让我怎么快呢？阿里的机器比我们好，才比我们快的！

![image][image 3]

嗨，胖滚猪，你可别把锅甩给机器啊，明明是你自己的设计缺陷呐，看我给你改改：

![image][image 4]

这样是不是觉得清爽了很多呢？？

注册是主要的业务，而发短信和邮件通知用户已经注册成功是非主要的业务，甚至无关紧要，何必让无关的东西影响主要的东西呢？  
假设三个业务节点每个使用100ms，不考虑网络等其他开销，则串行方式的时间是300ms，并行的时间可能是150ms。  
透心凉心飞扬，这回省了不少时间，可以用来撩妹了。

# 流量削峰 #

胖滚猪在公司平安无事的呆了大半年，睡觉从没被电话骚扰，直到2020.5.20这天，xx明星po出结婚照，瞬间几千万的流量，撑爆了微博，而明星同款520T恤的热卖，也瞬间压垮了胖滚猪的电商系统。

胖滚猪好吃好喝大半年，没想到好日子还是终结了，半夜爬起来处理服务器故障，第二天无精打采的，太难受了。。

嗨，胖滚猪，早知如此，当初就应该考虑仔细呀！一个电商系统，秒杀场景是迟早会出现的！

上下游对于事情的处理能力是不同的。比如，Web前端每秒承受上千万的请求，并不是什么神奇的事情。但数据库的处理能力却十分有限，即使使用SSD加分库分表，单机的处理能力仍然在万级。由于成本的考虑，我们不能奢求数据库的机器数量追上前端。所以，利用中间系统转储两个系统的通信内容，并在下游系统有能力处理这些消息的时候，再处理这些消息，是一套相对较通用的方式。

**我们需要设计一套足够健壮的架构来将后端的服务保护起来。设计思路是，使用消息队列隔离网关和后端服务，以达到流量控制和保护后端服务的目的。**

我再给你画张图吧：

![image][image 5]

这样一来，用户的请求，服务器接收后，首先写入消息队列。假如消息队列长度超过最大数量，则直接抛弃用户请求或跳转到错误页面。而业务系统根据消息队列中的请求信息，再做后续处理。

**这种设计的优点是：能根据下游的处理能力自动调节流量，达到“削峰填谷”的作用**

# 任务依赖 #

胖滚猪的公司有了高大上的数据中台，其中一个子系统叫做数据同步，只需要在前端页面勾选表，就可以自助化完成mysql到hive的同步。

但其中有个节点是工单审核。在同步系统中发起表同步申请，首先会调用工单系统，领导层在工单系统审核成功后，同步系统才可以完成接下来的同步任务。最开始，胖滚猪是这么设计的：

![image][image 6]

同步系统启了一个定时任务，每五分钟去查一下工单系统的接口，拿到审核结果。这种做法完全可行。

可是业务人员小甲不干了，小甲是个急性子，他觉得太慢了！提个需求：必须要准实时！即领导审核成功后你要马上给我同步！

这时候，胖滚猪又想到了消息队列，灵机一动，有了2.0优化版本：

![image][image 7]

这下，小甲这种急性子也不用不耐烦了，只要领导一批准，马上同步系统就会开始工作！

# 广播 #

胖滚猪加入产品中心的第一天，就给了它一个任务：产品中心需要频繁发布产品变更，而关心产品的系统多达10来个。每次变更，都要联调一次新接口，实在是太！麻！烦！了！

胖滚猪分析了一下，这就好像你妈喊你吃饭、还要喊你爸吃饭、喊你爷吃饭，她需要单独给你们每个人发微信通知，有点麻烦。可是如果她直接在家族群@你们，就把消息广播给大家了！

同理，产品系统相当于也要实现一个广播的功能，产品变动之后需要广播给其他系统。有了之前的经验，很快想到了可以用消息队列来实现。

在这里，消息队列就像我们的微信群一样，有了消息队列，我们只需要关心消息是否送达了队列，至于谁关心它谁希望去订阅，是下游的事情，无疑极大地减少了开发和联调的工作量。

# 数据采集 #

胖滚猪又接了个数据采集的活，1、需要实时收集日志、2、需要实时采集业务库binlog。

经过一番调研，胖滚猪明白了，采集binlog一般用到canal、采集日志一般可以用Flume和Logstash。

那么采集之后数据丢到哪儿呢？胖滚猪看了看官方架构图，咦，又有熟悉的消息队列，原来消息队列也可以用来数据采集呀！

![image][image 8]

![image][image 9]

所有主流的采集工具，都支持落地到Kafka等消息队列。也就是说，消息队列在数据采集这一块，也有举足轻重的作用。当然了，也不是必须要选择消息队列，要根据具体场景来选择。如果要对接流计算任务，或者多个系统都需要用到采集到的数据，那么选消息队列就没错了；如果只是想单纯存储起来，比如一些日志，那么可以不用消息队列。

# 连接流计算任务和数据 #

用消息队列（主要指Kafka）来连接流计算任务和数据，这在大数据领域是非常通用的一个架构了。火爆的流计算框架，Flink和Spark都优先选择Kafka作为数据源头并提供了完美的支持。

我们看一下oppo的架构图、简直了。三次用到Kafka！这地位无敌了！为啥oppo要三次用到Kafka呢？我相信根据上面的应用场景和优势你完全可以自行分析出来!

![image][image 10]

# 消息通讯 #

最后说一下消息通讯。。消息队列可以应用在消息通讯中，比如聊天室。

你可能会吐槽，你这不废话吗？凑数呢？我当然知道消息队列可用于消息通讯，小学生看名字都知道！

额，其实我只是想说明一下消息队列在消息通讯的两种场景罢了：点对点模型和发布订阅模型。

点对点通讯：系统 A 发送的消息只能被系统 B 接收，其他任何系统都不能读取 A 发送的消息。日常生活的例子比如电话客服就属于这种模型：同一个客户呼入电话只能被一位客服人员处理，第二个客服人员不能为该客户服务。

![image][image 11]

发布 / 订阅模型：与上面不同的是，它有一个主题（Topic）的概念，这个模型可能存在多个发布者向相同的主题发送消息，而订阅者也可能存在多个，它们都能接收到相同主题的消息。生活中的报纸订阅就是一种典型的发布 / 订阅模型。

![image][image 12]

# 劲酒虽好,可不要贪杯哦 #

消息队列确实有着非常广泛的应用，但它也有缺点！劲酒虽好,可不要贪杯哦，贪杯会出问题的哦！

*  消息队列会带来一定的延迟问题；
 *  降低了数据的一致性；如果要保证强一致性则需要高代价的补偿，如分布式事务、对账。
 *  有数据丢失的风险；比如宕机重启，如果要保证高可用需要额外的机制如双活容灾。

因此:

*  不适合要求实时响应的系统、
 *  不适合要求数据强一致性的系统(比如直接和钱有关系的系统 银行转账 第三方支付)、
 *  不适合不能容忍数据丢失的系统

[1]: /images/20221120/357b332cb5eb496395fdf78b9a2057eb.png
[2]: /images/20221120/99806e101f95462fb3279c82e2fc67c0.png
[image]: /images/20221120/73237f0030d34258bbe368898e0be421.png
[image 1]: /images/20221120/a68c1927f0ca4ef284b72d53d7427ece.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTI5MjE5MjE_size_16_color_FFFFFF_t_70]: /images/20221120/77ff0ad877f54aae83f56917334f6955.png
[image 2]: /images/20221120/e0bd4b12229c47f48b63f96986b22b1c.png
[image 3]: /images/20221120/01d685968e364cff9b898f643eaab56d.png
[image 4]: /images/20221120/07aa603c1134464d91ec9a1516cf1543.png
[image 5]: /images/20221120/48f91fea2b664f5e91683728bf05a717.png
[image 6]: /images/20221120/018133cd33b84953adf77a7d697e6bc2.png
[image 7]: /images/20221120/be861d2c0bb14ad4b7c6650c877b89fa.png
[image 8]: /images/20221120/ba4b3d6ce22746c5a8eb3a5d383b8d07.png
[image 9]: /images/20221120/dd0ab81ffe9848e5955c97911c14b3b5.png
[image 10]: /images/20221120/1c7a5a94f5ba4168bd8797679b13bf8a.png
[image 11]: /images/20221120/884717185e854e2f97bc2ab5143ee979.png
[image 12]: /images/20221120/ed19d45fcb52482b92ff01e53a3b2c17.png