kafka消息中间件-学习笔记

比眉伴天荒 2023-05-30 03:48 24阅读 0赞

### 内容来源：[https://www.cnblogs.com/qingyunzong/p/9004509.html][https_www.cnblogs.com_qingyunzong_p_9004509.html] ###

### 1.2　消息系统介绍 ###

一个消息系统负责将数据从一个应用传递到另外一个应用，应用只需关注于数据，无需关注数据在两个或多个应用间是如何传递的。分布式消息传递基于可靠的消息队列，在客户端应用和消息系统之间异步传递消息。有两种主要的消息传递模式：**点对点传递模式、发布-订阅模式**。大部分的消息系统选用发布-订阅模式。**Kafka就是一种发布-订阅模式**。

### 1.3　点对点消息传递模式 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RpYW5hX1o_size_16_color_FFFFFF_t_70][]

1、生产者发送一条消息到queue

2、一条消息只能被消费一次。当一个消费者消费了队列中的某条数据之后，该条数据则从消息队列中删除

3、即使有多个消费者同时消费数据，也能保证数据处理的顺序

### 1.4　发布-订阅消息传递模式 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RpYW5hX1o_size_16_color_FFFFFF_t_70 1][]

1、**发布者发送到topic的消息**

**2、**消费者可以订阅一个或多个topic，

3、同一条数据可以被多个消费者消费，数据被消费后不会立马删除

## 四、Kafka中的术语解释 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RpYW5hX1o_size_16_color_FFFFFF_t_70 2][]

### 4.2　broker ###

Kafka 集群包含一个或多个服务器，服务器节点称为broker。

broker存储topic的数据。1、topic中的最小单位是partition；2、每个broker中存储一个或多个partition；3、partition在broker中尽量均匀分部。

### 4.3　Topic和partition ###

每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）

topic中的数据分割为一个或多个partition。每个topic至少有一个partition。每个partition中的数据使用多个segment文件存储。

partition中的数据是有序的，不同partition间的数据是无序的。

在需要严格保证消息的消费顺序的场景下，需要将partition数目设为1。

### 4.7　Leader ###

每个partition有多个副本，其中有且仅有一个作为Leader，Leader是当前负责数据的读写的partition。

### 4.8　Follower ###

Follower跟随Leader，所有写请求都通过Leader路由，数据变更会广播给所有Follower，Follower与Leader保持数据同步。如果Leader失效，则从Follower中选举出一个新的Leader。当Follower与Leader挂掉、卡住或者同步太慢，leader会把这个follower从“in sync replicas”（ISR）列表中删除，重新创建一个Follower。

1.2 Kafka的使用场景：  
Kakfa Broker集群受Zookeeper管理

所有的Kafka Broker节点一起去Zookeeper上注册一个临时节点，因为只有一个Kafka Broker会注册成功，其他的都会失败，所以这个成功在Zookeeper上注册临时节点的这个Kafka Broker会成为Kafka Broker Controller，其他的Kafka broker叫Kafka Broker follower。

[https_www.cnblogs.com_qingyunzong_p_9004509.html]: https://www.cnblogs.com/qingyunzong/p/9004509.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RpYW5hX1o_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191107101859592.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RpYW5hX1o=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RpYW5hX1o_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191107102037495.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RpYW5hX1o=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RpYW5hX1o_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20191107102824105.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0RpYW5hX1o=,size_16,color_FFFFFF,t_70