Kafka 基础概念和使用原理

怼烎@ 2023-10-06 16:11 60阅读 0赞

#### 什么是 kafka? ####

第一个特性是类MQ的发布订阅特性，第二个特性就是具备容错的存储能力，第三个特性是处理数据。所以kafka可以替代ActiveMQ这类消息中间件。

#### kafak 工作原理 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk3NTc3MQ_size_16_color_FFFFFF_t_70]  
　　**Producer：Producer**即生产者，消息的产生者，是消息的入口。  
　　kafka cluster：  
　　　　**Broker：Broker**是kafka实例，每个服务器上有一个或多个kafka的实例，我们姑且认为每个broker对应一台服务器。每个kafka集群内的broker都有一个不重复的编号，如图中的broker-0、broker-1等……  
　　　　**Topic**：消息的主题，可以理解为消息的分类，kafka的数据就保存在topic。在每个broker上都可以创建多个topic。  
　　　　**Partition**：Topic的分区，每个topic可以有多个分区，分区的作用是做负载，提高kafka的吞吐量。同一个topic在不同的分区的数据是不重复的，partition的表现形式就是一个一个的文件夹！  
　　　　**Replication**:每一个分区都有多个副本，副本的作用是做备胎。当主分区（Leader）故障的时候会选择一个备胎（Follower）上位，成为Leader。在kafka中默认副本的最大数量是10个，且副本的数量不能大于Broker的数量，follower和leader绝对是在不同的机器，同一机器对同一个分区也只可能存放一个副本（包括自己）。  
　　　　**Message**：每一条发送的消息主体。  
　　**Consumer**：消费者，即消息的消费方，是消息的出口。  
　　**Consumer** **Group**：我们可以将多个消费组组成一个消费者组，在kafka的设计中同一个分区的数据只能被消费者组中的某一个消费者消费。同一个消费者组的消费者可以消费同一个topic的不同分区的数据，这也是为了提高kafka的吞吐量！  
　　**Zookeeper**：kafka集群依赖zookeeper来保存集群的的元信息，来保证系统的可用性。

#### kafka 的偏移量 ####

1、自动提交偏移量  
2、手动提交偏移量  
3、偏移量由消费者管理

[详情点击击][Link 1]

参考 :https://www.cnblogs.com/sujing/p/10960832.html

kafka  
[ 经典面试题 ][Link 2]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk3NTc3MQ_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20210126210930290.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzk3NTc3MQ==,size_16,color_FFFFFF,t_70
[Link 1]: https://blog.csdn.net/wangzhanzheng/article/details/80801059
[Link 2]: https://www.cnblogs.com/x-x-736880382/p/11511221.html