MQ学习-基本概念区分

淩亂°似流年 2022-01-14 01:41 272阅读 0赞

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][]

消息队列 Kafka 涉及的专有名词和术语进行定义和解释，方便您更好地理解相关概念并使用该产品。

*  **Broker：** 消息队列 Kafka 集群包含一个或多个消息处理服务器，该服务器被称为 Broker。
 *  **Topic：** 每条发布到消息队列 Kafka 集群的消息都有一个主题，这个主题被称为 Topic。通过 Topic 可以对消息进行分类。每个 Topic 可以由一个或多个分区（Partition）组成，存储于一个或多个 Broker 上。
 *  **分区（Partition）：** 消息分区；Partition 是物理上的概念，每个 Topic 包含一个或多个 Partition。
 *  **Producer：** 消息发布者，也称为消息生产者，负责生产并发送消息到 Kafka Broker。
 *  **Consumer：** 消息订阅者，也称为消息消费者，负责向 Kafka Broker 读取消息并进行消费。
 *  **Consumer Group：** 一类 Consumer 的标识，这类 Consumer 通常接收并消费同一类消息，且消费逻辑一致。Consumer Group 和 Topic 的关系是 N：N，同一个 Consumer Group 可以订阅多个 Topic，同一个 Topic 也可以被多个 Consumer Group 订阅。
    
    ## 消息队列 Kafka 系统架构 ##
    
    一个典型的消息队列 Kafka 集群包含：
 *  Producer：通过 push 模式向消息队列 Kafka Broker 发送消息，可以是网站的页面访问、服务器日志等，也可以是 CPU 和内存相关的系统资源信息；
 *  Kafka Broker：消息队列 Kafka 的服务器，用于存储消息；支持水平扩展，一般 Broker 节点数量越多，集群吞吐率越高；
 *  Consumer Group：通过 pull 模式从消息队列 Kafka Broker 订阅并消费消息;
 *  Zookeeper：管理集群的配置、选举 leader，以及在 Consumer Group 发生变化时进行负载均衡。
 *  消息队列 Kafka 采用 Pub/Sub（发布/订阅）模型，其中：
 *  Consumer Group 和 Topic 的关系是 N:N。 同一个 Consumer Group 可以订阅多个 Topic，同一个 Topic 也可以同时被多个 Consumer Group 订阅。
 *  同一 Topic 的一条消息只能被同一个 Consumer Group 内的任意一个 Consumer 消费，但多个 Consumer Group 可同时消费这一消息。
 *  [![消息队列 Kafka pub/sub][Kafka pub_sub]][Kafka pub_sub_Kafka pub_sub]
    
    [![消息队列 Kafka 架构][Kafka]][Kafka _Kafka]
    
    ## 消息队列 Kafka 的 Pub/Sub 模型 ##

本文主要对消息队列 RocketMQ 涉及的专有名词及术语进行定义和解析，方便您更好地理解相关概念并使用消息队列 RocketMQ。

**Topic**

消息主题，一级消息类型，通过 Topic 对消息进行分类。详情请见[Topic 与 Tag 最佳实践][Topic _ Tag]。

**Message**

消息，消息队列中信息传递的载体。

**Message ID**

消息的全局唯一标识，由消息队列 RocketMQ 系统自动生成，唯一标识某条消息。

**Message Key**

消息的业务标识，由消息生产者（Producer）设置，唯一标识某个业务逻辑。

**Tag**

消息标签，二级消息类型，用来进一步区分某个 Topic 下的消息分类。详情请见[Topic 与 Tag 最佳实践][Topic _ Tag]。

**Producer**

消息生产者，也称为消息发布者，负责生产并发送消息。

**Producer 实例**

Producer 的一个对象实例，不同的 Producer 实例可以运行在不同进程内或者不同机器上。Producer 实例线程安全，可在同一进程内多线程之间共享。

**Consumer**

消息消费者，也称为消息订阅者，负责接收并消费消息。

**Consumer 实例**

Consumer 的一个对象实例，不同的 Consumer 实例可以运行在不同进程内或者不同机器上。一个 Consumer 实例内配置线程池消费消息。

**Group**

一类 Producer 或 Consumer，这类 Producer 或 Consumer 通常生产或消费同一类消息，且消息发布或订阅的逻辑一致。

**Group ID**

Group 的标识。

**Exactly-Once 投递语义**

Exactly-Once 投递语义是指发送到消息系统的消息只能被消费端处理且仅处理一次，即使生产端重试消息发送导致某消息重复投递，该消息也在消费端也只被消费一次。详情请见[Exactly-Once 投递语义][Exactly-Once]。

**集群消费**

一个 Group ID 所标识的所有 Consumer 平均分摊消费消息。例如某个 Topic 有 9 条消息，一个 Group ID 有 3 个 Consumer 实例，那么在集群消费模式下每个实例平均分摊，只消费其中的 3 条消息。详情请见[集群消费和广播消费][Link 1]。

**广播消费**

一个 Group ID 所标识的所有 Consumer 都会各自消费某条消息一次。例如某个 Topic 有 9 条消息，一个 Group ID 有 3 个 Consumer 实例，那么在广播消费模式下每个实例都会各自消费 9 条消息。详情请见[集群消费和广播消费][Link 1]。

**定时消息**

Producer 将消息发送到消息队列 RocketMQ 服务端，但并不期望这条消息立马投递，而是推迟到在当前时间点之后的某一个时间投递到 Consumer 进行消费，该消息即定时消息。详情请见[定时和延时消息][Link 2]。

**延时消息**

Producer 将消息发送到消息队列 RocketMQ 服务端，但并不期望这条消息立马投递，而是延迟一定时间后才投递到 Consumer 进行消费，该消息即延时消息。详情请见[定时和延时消息][Link 2]。

**事务消息**

消息队列 RocketMQ 提供类似 X/Open XA 的分布事务功能，通过消息队列 RocketMQ 的事务消息能达到分布式事务的最终一致。详情请见[事务消息][Link 3]。

**顺序消息**

消息队列 RocketMQ 提供的一种按照顺序进行发布和消费的消息类型, 分为全局顺序消息和分区顺序消息。详情请见[顺序消息][Link 4]。

**全局顺序消息**

对于指定的一个 Topic，所有消息按照严格的先入先出（FIFO）的顺序进行发布和消费。详情请见[顺序消息][Link 4]。

**分区顺序消息**

对于指定的一个 Topic，所有消息根据 sharding key 进行区块分区。同一个分区内的消息按照严格的 FIFO 顺序进行发布和消费。Sharding key 是顺序消息中用来区分不同分区的关键字段，和普通消息的 key 是完全不同的概念。详情请见[顺序消息][Link 4]。

**消息堆积**

Producer 已经将消息发送到消息队列 RocketMQ 的服务端，但由于 Consumer 消费能力有限，未能在短时间内将所有消息正确消费掉，此时在消息队列 RocketMQ 的服务端保存着未被消费的消息，该状态即消息堆积。

**消息过滤**

消费者可以根据消息标签（Tag）对消息进行过滤，确保消费者最终只接收被过滤后的消息类型。消息过滤在消息队列 RocketMQ 的服务端完成。详情请见[消息过滤][Link 5]。

**消息轨迹**

在一条消息从生产者发出到订阅者消费处理过程中，由各个相关节点的时间、地点等数据汇聚而成的完整链路信息。通过消息轨迹，您能清晰定位消息从生产者发出，经由消息队列 RocketMQ 服务端，投递给消息消费者的完整链路，方便定位排查问题。详情请见[消息轨迹简介][Link 6]。

**重置消费位点**

以时间轴为坐标，在消息持久化存储的时间范围内（默认 3 天），重新设置消息消费者对其订阅 Topic 的消费进度，设置完成后订阅者将接收设定时间点之后由消息生产者发送到消息队列 RocketMQ 服务端的消息。详情请见[重置消费位点][Link 7]。

**死信队列**

死信队列用于处理无法被正常消费的消息。当一条消息初次消费失败，消息队列 RocketMQ 会自动进行[消息重试][Link 8]；达到最大重试次数后，若消费依然失败，则表明消费者在正常情况下无法正确地消费该消息，此时，消息队列 RocketMQ 不会立刻将消息丢弃，而是将其发送到该消费者对应的特殊队列中。

消息队列 RocketMQ 将这种正常情况下无法被消费的消息称为死信消息（Dead-Letter Message），将存储死信消息的特殊队列称为死信队列（Dead-Letter Queue）。

详情请见[死信队列][Link 9]。

**消息路由**

消息路由常用于不同地域之间的消息同步，保证地域之间的数据一致性。消息队列 RocketMQ 的全球消息路由功能依托阿里云优质基础设施实现的高速通道专线，可以高效地实现国内外不同地域之间的消息同步复制。详情请见[全球消息路由][Link 10]。

转载于:https://my.oschina.net/u/2983845/blog/3013858

[2019_Python_]: https://my.oschina.net/u/2663968/blog/3061697
[hot3.png]: /images/20220113/549c592cf17f4265a795a2a6dc32d371.png
[Kafka pub_sub]: https://oscimg.oschina.net/oscnet/kafka_pubsub.png
[Kafka pub_sub_Kafka pub_sub]: /images/20220113/56f92cd2ee8c42ad86df5aed9ca02b7f.png
[Kafka]: https://oscimg.oschina.net/oscnet/kafka_%E6%9E%B6%E6%9E%843.jpeg
[Kafka _Kafka]: /images/20220113/d631c85992db4fe4bf3c4ce48f3066c2.png
[Topic _ Tag]: https://help.aliyun.com/document_detail/95837.html
[Exactly-Once]: https://help.aliyun.com/document_detail/102777.html
[Link 1]: https://help.aliyun.com/document_detail/43163.html
[Link 2]: https://help.aliyun.com/document_detail/43349.html
[Link 3]: https://help.aliyun.com/document_detail/43348.html
[Link 4]: https://help.aliyun.com/document_detail/49319.html
[Link 5]: https://help.aliyun.com/document_detail/29543.html
[Link 6]: https://help.aliyun.com/document_detail/43357.html
[Link 7]: https://help.aliyun.com/document_detail/63390.html
[Link 8]: https://help.aliyun.com/document_detail/43490.html
[Link 9]: https://help.aliyun.com/document_detail/87277.html
[Link 10]: https://help.aliyun.com/document_detail/90483.html