【Kafka】一.认识Kafka

素颜马尾好姑娘i 2023-10-08 17:47 58阅读 0赞

kafka是一个分布式消息队列。由 Scala 开发的高性能跨语言分布式消息队列，单机吞吐量可以到达 10w 级，消息延迟在 ms 级。具有高性能、持久化、多副本备份、横向扩展能力。

生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。

一般在架构设计中起到解耦、削峰、异步处理的作用。

kafka对外使用topic的概念，生产者往topic里写消息，消费者从读消息。

为了做到水平扩展，一个topic实际是由多个partition组成的，遇到瓶颈时，可以通过增加partition的数量来进行横向扩容。单个parition内是保证消息有序。

每新写一条消息，kafka就是在对应的文件append附加写，所以性能非常高。

大概用法就是，生产者往Brokers里面的指定Topic中写消息，消费者从Brokers里面拉去指定Topic的消息，然后进行业务处理。

Kafka 是完全的分布式系统，Broker、Producer、Consumer 都原生自动支持分布式，依赖于 ZooKeeper 做分布式协调。Kafka 支持一写多读，消息可以被多个客户端消费，消息有可能会重复，但是不会丢失。

搜了一个架构图：  
![在这里插入图片描述][7a23c985118a4d53931f224cc2eaadc8.png]

Kafka 消息队列由三个角色组成，左面的是消息的生产方 Producer；中间是 Kafka 集群， Kafka 集群由多台 Kafka server 组成，每个 Server 称为一个 Broker，也就是消息代理；右面的是消息的消费方 Consumer。

Kafka 中消息是按照 Topic 进行划分的，一个 Topic 就是一个 Queue。在实际应用中，不同业务数据就可以设置为不同的 Topic。一个 Topic 可以有多个消费方，当生产方在某个 Topic 发出一条消息后，所有订阅了这个 Topic 的消费方都可以收到这条消息。

为了提高并行能力，Kafka 为每个 Topic 维护了多个 Partition 分区，每个分区可以看作一份追加类型的日志。 每个分区中的消息保证 ID 唯一且有序，新消息不断追加到尾部。Partition 实际存储数据时，会对按大小进行分段（Segment），来保证总是对较小的文件进行写操作，提高性能，方便管理。

Partition 分布于多个 Broker 上。图中绿色的模块表示 Topic1 被分为了 3 个 Partition。每个 Partition 会被复制多份存在于不同的 Broker 上，如图中红色的模块，这样可以保证主分区出现问题时进行容灾。每个 Broker 可以保存多个 Topic 的多个 Partition。

Kafka 只保证一个分区内的消息有序，不能保证一个 Topic 的不同分区之间的消息有序。为了保证较高的处理效率，所有的消息读写都是在主 Partition 中进行，其他副本分区只会从主分区复制数据。Kafka 会在 ZooKeeper 上针对每个 Topic 维护一个称为 ***ISR（in-sync replica），就是已同步的副本集***。如果某个主分区不可用了，Kafka 就会从 ISR 集合中选择一个副本作为新的主分区。

[7a23c985118a4d53931f224cc2eaadc8.png]: https://img-blog.csdnimg.cn/7a23c985118a4d53931f224cc2eaadc8.png