消息队列原理和选型：Kafka、RocketMQ 、RabbitMQ 和 ActiveMQ

墨蓝 2024-04-06 10:22 83阅读 0赞

消息队列中间件重要吗？面试必问问题之一，你说重不重要。我有时会问同事，为啥你用 RabbitMQ，不用 Kafka，或者 RocketMQ 呢，他给我的回答 “因为公司用的就是这个，大家都这么用”，如果你去面试，直接就被 Pass，今天这篇文章，告诉你如何回答。

这篇文章，我重点突出消息队列选型，弱化每种队列内部的实现细节，精华提炼，可读性更强！

常用的消息队列主要这 4 种，分别为 Kafka、RabbitMQ、RocketMQ 和 ActiveMQ，主要介绍前三，不BB，上思维导图！

![548e77153e685d9139e021e1169d0b78.png][]

## 消息队列基础 ##

### 什么是消息队列？ ###

消息队列是在消息的传输过程中保存消息的容器，用于接收消息并以文件的方式存储，一个消息队列可以被一个也可以被多个消费者消费，包含以下 3 元素：

*  Producer：消息生产者，负责产生和发送消息到 Broker；
 *  Broker：消息处理中心，负责消息存储、确认、重试等，一般其中会包含多个 Queue；
 *  Consumer：消息消费者，负责从 Broker 中获取消息，并进行相应处理。

![8b7b4ecda95e40668a6b76e2bfa96e40.png][]

### 消息队列模式 ###

*  点对点模式：多个生产者可以向同一个消息队列发送消息，一个具体的消息只能由一个消费者消费。

![d2fa7a2a544e43bd953097341700cb68.png][]

### 消息队列应用场景 ###

*  **应用解耦**：消息队列减少了服务之间的耦合性，不同的服务可以通过消息队列进行通信，而不用关心彼此的实现细节。
 *  **异步处理**：消息队列本身是异步的，它允许接收者在消息发送很长时间后再取回消息。
 *  **流量削锋**：当上下游系统处理能力存在差距的时候，利用消息队列做一个通用的”载体”，在下游有能力处理的时候，再进行分发与处理。
 *  **日志处理**：日志处理是指将消息队列用在日志处理中，比如 Kafka 的应用，解决大量日志传输的问题。
 *  **消息通讯**：消息队列一般都内置了高效的通信机制，因此也可以用在纯的消息通讯，比如实现点对点消息队列，或者聊天室等。
 *  **消息广播**：如果没有消息队列，每当一个新的业务方接入，我们都要接入一次新接口。有了消息队列，我们只需要关心消息是否送达了队列，至于谁希望订阅，是下游的事情，无疑极大地减少了开发和联调的工作量。

## 常用消息队列 ##

由于官方社区现在对 ActiveMQ 5.x 维护越来越少，较少在大规模吞吐的场景中使用，所以我们主要讲解 Kafka、RabbitMQ 和 RocketMQ。

#### Kafka ####

Apache Kafka 最初由 LinkedIn 公司基于独特的设计实现为一个分布式的提交日志系统，之后成为 Apache 项目的一部分，**号称大数据的杀手锏，在数据采集、传输、存储的过程中发挥着举足轻重的作用。**

**它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台**，它同时也是一款开源的基于发布订阅模式的消息引擎系统。

#### 重要概念 ####

*  **主题（Topic）**：消息的种类称为主题，可以说一个主题代表了一类消息，相当于是对消息进行分类，主题就像是数据库中的表。
 *  **分区（partition）**：主题可以被分为若干个分区，同一个主题中的分区可以不在一个机器上，有可能会部署在多个机器上，由此来实现 kafka 的伸缩性。
 *  **批次**：为了提高效率， 消息会分批次写入 Kafka，批次就代指的是一组消息。
 *  **消费者群组（Consumer Group）**：消费者群组指的就是由一个或多个消费者组成的群体。
 *

[548e77153e685d9139e021e1169d0b78.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/bf5960079b6143c49bcbc34fa0b089fe.png
[8b7b4ecda95e40668a6b76e2bfa96e40.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/7c2b17dbf2024202b6c489284829f7e0.png
[d2fa7a2a544e43bd953097341700cb68.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/06/0c74aa2b8c0e4745bb6cdcfdc74cc86e.png