3.7.1消费者线程模型

我会带着你远行 2022-11-16 15:17 45阅读 0赞

### 3.7小结 ###

本意分析了两种消费者API的实现，并重点分析了高级API，下面总结一下高级.API两个重要的概念。

--------------------

#### 3.7.1消费者线程模型 ####

> 客户端创造基于ZK的消费者连接器，ZK作为共享存储保存了Kafka集群或者客户端的相关信息，比如主题信息、消费者和消费组的关系、分区和消费者的关系、分区的偏移量等。连接器是消费者进程的人口，根据客户端订阅的主题和设置的线程数，从而引入了消费者的线程模型。一个消费者客户端是一个Java进程，消费者可以订阅多个主题，甚至每个主题都可以向定义线程数，消费者实际上是个多线程的程序。Java的多线程通常要考虑加锁同步方案对线程和数据进行隔离，但是Kafka消费者的多线程比较简单。因为一个消费者的多个线程处理的分区是互斥的，不存在同一个分区被相同线程处理的情况，所以不需要数据共享。

为了让消息能够在多个节点被分布式地消费，提高消息处理的吞吐量，Kafka允许多个消费者订阅同一个主题，这些消费者也要满足“一个分区只能被一个消费者中的一个线程处理”的限制条件。通常，我们会将同一份相同业务处理逻辑的应用程序部署在不同机器上，并且指定一个消费组编号。当不同机器上的消费者Java进程启动后，所有这些消费者就组成了一个消费组。这个消费组是个逻辑概念，实际不再在这样的进程，但是必须要有地方来记录消费者和消费组的关系，比如记录在ZK中。那么，为什么需要记录消费者和消费组的关系呢？

所有消费者组成一个消费组共同消费订阅主题的所有分区。假设所有分区都平均分配给所有的消费者，每个消费者有了独一无二的分区，接着就可以拉取自己负责的分区消息，井消费投取到的消息。我们还要考虑消费者的故障容错机制，消费者可能挂掉，或者有新的消费者加入消费组。如果消费者挂掉了，你没有把它原先负责的分区分配给别的消费者，那它负责的分区就永远不会被消费；如果消费者加入消费组，你没有分配分区给新消费者，新加入的消费者就向内占用系统资源。当Hi现消费者增减时，消费组会收集所有的消费者，将分区重新分配给现有存活的消费者，这个操作叫作“再平衡”，消费组的每个消费者都会发生再平衡。消费组需要知道现在都有哪些消费者，这也是记录消费者和消费组关系的原因。每个消费者在启动时，会往ZK的消费组节点下添加一个子节点，表示自己要加入这个消费组。

消费者线程要拉取分区消息，需要确定分区的主副本节点，Kafka针对分区有一个限制条件：客户端针对分区的读写请求，只能发生在分区的主副本上。一个消息代理节点会存储多个分区，有可能消费者负责的分区中，有几个分区的主剧本是在同一个节点上的。为了减少客户端的网络连接数量，连接到同一个目标节点的多个分区可以合并起来一起处理。就像生产者对消息按照分区的主副本分组后，相同主副本的多个分区只以一个请求的方式，通过一个网络连接发送到一个目标节点，不需要为每个分区都建立一个连接。

每个消费者线程可以拉取多个分区，拉取到消息后如何暴露给客户端应用程序？客户端是不是应该不停地监昕消费者的拉取钱程，如果没有新消息就等待？这种“不同步的T作模式”一般使用队列来暂存数据，并对数据的产生和获取进行解稿。“不同步”指的是拉取消息和消费消息没有同时发生，那么两者的处理速度就不一样。拉取线程将拉取到的消息放入队列，消费线程从队列中弹IH消息处理，拉取线程和消费线程两者没有很强的依赖关系。拉取线程和消费线程都持有队列的引用，这两个线程除了操作队列还会更新相应的状态信息，所以引出了分区信息对象（PartitionTopicinfo）。拉取钱程要更新分区信息的拉取状态（fetchedOffset），消费线程要更新分区信息的消费状态（consumedOffset）。分配给消费者的每个分区都对应一个分区信息，不同的分区可以共用一个分区信息的队列。

队列作为拉取消息的存储介质，这种底层的数据结构不适合直接暴露给客户端应用程序，所以引  
出了“消息流”对队列进行包装。消费者拉取线程每次可以拉取多个分区，每个分区都会对应队列中  
的一个数据块，每个数据块都包含一个消息集。客户端为了获取每条消息，首先从队列弹出一个数据  
块，然后读取消息集的每条消息。为了尽量保持客户端API的简单，消息流实现了rterable接口，对  
应的消费者迭代器会负责从队列中读取数据’块，最后生成消息集对应的迭代器给客户端使用。

消费者的消费线程是一个消费者迭代器，客户端消费完消息，会定时地提交消费进度到ZK或者以消息形式发送到IJKafka集群的内部主题节点，这样的节点叫作“消费组的协调者”（GroupCoordinator）或“偏移盏’管理器”（OffsetManager）。偏移量消息内容的键是“消费组、主题、分区”，同一个消费组的所有消费者都将偏移量提交到同一个协调节点。发生再平衡后，即使分区重新分配给不同的消费者，因为消费者都属于同一个消费组，所有的消费者都可以读取州其他消费者对分区的上一次提交位置。

如图3-33所示，总结了消费者使用高级API拉取和消费消息流程中一些重要组件之间的关联关系。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dBTlRBV0FZMzE0_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dBTlRBV0FZMzE0_size_16_color_FFFFFF_t_70]: /images/20221022/a93a48421ccc4111baded850e48dfe0a.png