KAFKA 消息生产过程

╰半夏微凉° 2023-08-17 15:18 136阅读 0赞

![1572881-20190806194504046-1489712454.png][]

*  写入方式
    
     *  producer 采用推（push）模式将消息发布到 broker，每条消息都被追加（append）到分区（patition）中，属于顺序写磁盘（顺序写磁盘效率比随机写内存要高，保障 kafka 吞吐率）

*  分区（Partition）
    
     *  消息发送时都被发送到一个 topic，其本质就是一个目录，而 topic 是由一些 PartitionLogs(分区日志)组成，每个 Partition 中的消息都是有序的，生产的消息被不断追加到Partition log 上，其中的每一个消息都被赋予了一个唯一的 offset 值，其组织结构如下图所示：
 *   *   *  ![1572881-20190806194610249-1739704521.png][]
            
             
     *  分区的原因
        
         *  实现水平扩展。每个 Partition 可以通过调整以适应它所在的机器，而一个topic 又可以由多个 Partition 组成，因此整个集群就可以适应任意大小的数据
         *  实现负载均衡。以 Partition 为单位读写，提高并发量
     *  分区的原则
        
         *  指定了 patition，则直接使用
         *  未指定 patition 但指定 key，通过对 key 的 value 进行 hash 出一个 patition
         *  patition 和 key 都未指定，使用轮询选出一个 patition
 *  副本（Replication）
    
     *  同一个 partition 可 能 会 有 多 个 replication 。没有 replication 的情况下，一旦 broker 宕机，其上所有patition的数据都不可被消费，同时 producer 也不能再将数据存于其上的 patition。引入 replication 之后，同一个 partition 可能会有多个 replication，而这时需要在这些 replication 之间选出一个leader，producer 和 consumer 只与这个 leader 交互，其它 replication 作为 follower 从 leader中复制数据
 *  写入流程
    
     ![1572881-20190806195424625-951116273.png][]
    
     
    
     *  producer 先从 zookeeper 的 "/brokers/.../state"节点找到该 partition 的 leader
     *  producer 将消息发送给该 leader
     *  leader 将消息写入本地 log
     *  followers 从 leader pull 消息，写入本地 log 后向 leader 发送 ACK
     *  leader 收到所有 ISR 中的 replication 的 ACK 后，增加 HW（high watermark，最后 commit的 offset）并向 producer 发送 ACK

转载于:https://www.cnblogs.com/xiangyuguan/p/11311386.html

[1572881-20190806194504046-1489712454.png]: /images/20230810/d14ca307de174f0ba5d005fe07e44095.png
[1572881-20190806194610249-1739704521.png]: /images/20230810/fbaff38bb237411b90202a2ad7bac5e3.png
[1572881-20190806195424625-951116273.png]: /images/20230810/e3b729d7da8f46f288e1147f5eafd8da.png