一文读懂Kafka

水深无声 2022-12-25 06:54 329阅读 0赞

学习之前，先来了解一下网络通信模型，网络通信模型的发展如下

> 单线程 => 多线程 => 线程池 => Reactor模型

Kafka所采用的Reactor模型如下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70]

> 简单来说就是，Broker  
> 中有个Acceptor(mainReactor)监听新连接的到来，与新连接建连之后轮询选择一个Processor(subReactor)管理这个连接。而Processor会监听其管理的连接，当事件到达之后，读取封装成Request，并将Request放入共享请求队列中。然后IO线程池不断的从该队列中取出请求，执行真正的处理。处理完之后将响应发送到对应的Processor的响应队列中，然后由Processor将Response返还给客户端。每个listener只有一个Acceptor线程，因为它只是作为新连接建连再分发，没有过多的逻辑，很轻量，一个足矣。

## 1.Kafka概述 ##

#### 1.1 概述 ####

> Kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用与大数据实时处理领域

#### 1.2 消息队列 ####

##### 1.2.1 传统消息队列的应用场景 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 1]

#### **使用消息队列的好处** ####

>  *  1）**解耦** : 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。
>  *  2）**可恢复性** :系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。
>  *  3）**缓冲** : 有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致 的情况。
>  *  4）**灵活性 & 峰值处理能力** : 在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见。如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。
>  *  5）**异步通信** : 很多时候，用户不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要 的时候再去处理它们。

##### 1.2.2 消息队列的两种模式 #####

##### （1）点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除） #####

> 消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费消息。 消息被消费以后，queue中不再有存储，所以消息消费者不可能消费到已经被消费的消息。 Queue 支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 2]

##### （2）发布/订阅模式（一对多，消费者消费数据之后不会清除消息） #####

> 消息生产者（发布）将消息发布到 topic 中，同时有多个消息消费者（订阅）消费该消 息。和点对点方式不同，发布到 topic的消息会被所有订阅者消费。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 3]

#### 1.3 Kafka 基础架构 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 4]

> **1）Producer** ：消息生产者，就是向 kafka broker 发消息的客户端；  
> **2）Consumer** ：消息消费者，向 kafkabroker 取消息的客户端；  
> **3）Consumer Group （CG）**：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。  
> **4）Broker** ：一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker 可以容纳多个 topic。  
> **5）Topic** ：可以理解为一个队列，生产者和消费者面向的都是一个 topic；  
> **6）Partition**：为了实现扩展性，一个非常大的 topic可以分布到多个 broker（即服务器）上， 一个 topic 可以分为多个 partition，每个 partition是一个有序的队列；  
> **7）Replica**：副本，为保证集群中的某个节点发生故障时，该节点上的 partition 数据不丢失，且 kafka仍然能够继续工作，kafka 提供了副本机制，一个 topic 的每个分区都有若干个副本， 一个 leader 和若干个 follower。  
> **8）leader**：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对 象都是 leader。  
> **9）follower**：每个分区多个副本中的“从”，实时从 leader 中同步数据，保持和 leader 数据 的同步。leader发生故障时，某个 follower 会成为新的 follower。

## 2.Kafka 架构深入 ##

#### 3.1 Kafka工作流程及文件存储机制 ####

**工作流程**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 5]

> Kafka 中消息是以 topic 进行分类的，生产者生产消息，消费者消费消息，都是面向 topic 的。  
> topic 是逻辑上的概念，而partition 是物理上的概念，每个 partition 对应于一个 log 文 件，该 log 文件中存储的就是 producer生产的数据。Producer 生产的数据会被不断追加到该 log 文件末端，且每条数据都有自己的offset。消费者组中的每个消费者，都会实时记录自己 消费到了哪个 offset，以便出错恢复时，从上次的位置继续消费。

**存储机制**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 6]

由于生产者生产的消息会不断追加到 log 文件末尾，为防止 log 文件过大导致数据定位 效率低下，Kafka 采取了分片和索引机制，将每个partition 分为多个 segment。每个 segment对应两个文件——“.index”文件和“.log”文件。这些文件位于一个文件夹下，该文件夹的命名 规则为：topic 名称+分区序号。例如，first 这个 topic 有三个分区，则其对应的文件夹为 first- 0,first-1,first-2。

> 00000000000000000000.index  
> 00000000000000000000.log  
> 00000000000000170410.index  
> 00000000000000170410.log  
> 00000000000000239430.index  
> 00000000000000239430.log

index 和 log 文件以当前 segment 的第一条消息的 offset 命名。下图为 index 文件和 log  
文件的结构示意图。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 7]  
**“.index”文件存储大量的索引信息，“.log”文件存储大量的数据**，索引文件中的元数据指向对应数据文件中 message 的物理偏移地址。  
**通过2分查找法，找到偏移量，通过偏移量到数据文件找到数据**

#### 2.2 Kafka生产者 ####

##### 2.2.1 分区策略 #####

*  1）分区的原因  
    （1）方便在集群中扩展，每个 Partition 可以通过调整以适应它所在的机器，而一个 topic又可以有多个 Partition 组成，因此整个集群就可以适应任意大小的数据了；  
    （2）可以提高并发，因为可以以 Partition 为单位读写了。
 *  2）分区的原则  
    我们需要将 producer 发送的数据封装成一个 ProducerRecord 对象。  
    ![在这里插入图片描述][20201209215625101.png]

> （1）指明 partition 的情况下，直接将指明的值直接作为 partiton 值；  
> （2）没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition 数进行取余得到 partition 值；  
> （3）既没有 partition 值又没有 key 值的情况下，第一次调用时随机生成一个整数（后 面每次调用在这个整数上自增），将这个值与 topic可用的 partition 总数取余得到 partition 值，也就是常说的 round-robin 算法。

**低版本ISR， 有条数跟时间的要求  
高版本的ISR ，去掉了条数的限制（因为ISR频繁）**

#### 2.2.2 数据可靠性保证 ####

> **为保证 producer 发送的数据，能可靠的发送到指定的 topic，topic 的每个 partition 收到 producer发送的数据后，都需要向 producer 发送 ack（acknowledgement 确认收到），如果 producer 收到ack，就会进行下一轮的发送，否则重新发送数据。**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 8]

##### 1）副本数据同步策略 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 9]  
Kafka 选择了第二种方案，原因如下：

*  1.同样为了容忍 n 台节点的故障，第一种方案需要 2n+1 个副本，而第二种方案只需要 n+1  
    个副本，而 Kafka 的每个分区都有大量的数据，第一种方案会造成大量数据的冗余。
 *  2.虽然第二种方案的网络延迟会比较高，但网络延迟对 Kafka 的影响较小。

##### 2）ISR #####

>  *  采用第二种方案之后，设想以下情景：leader 收到数据，所有 follower 都开始同步数据， 但有一个follower，因为某种故障，迟迟不能与 leader 进行同步，那 leader 就要一直等下去， 直到它完成同步，才能发送ack。这个问题怎么解决呢？
>  *  **Leader 维护了一个动态的 in-sync replica set (ISR)，意为和 leader保持同步的 follower 集 合。当 ISR 中的 follower 完成数据的同步之后，leader 就会给 follower 发送ack。如果 follower 长时间 未 向 leader 同 步 数 据 ， 则 该 follower 将 被 踢 出 ISR ， 该时 间 阈 值 由 replica.lag.time.max.ms 参数设定。Leader 发生故障之后，就会从 ISR 中选举新的leader。**

##### 3）ack 应答机制 #####

> 对于某些不太重要的数据，对数据的可靠性要求不是很高，能够容忍数据的少量丢失，所以没必要等 ISR 中的 follower 全部接收成功。所以Kafka 为用户提供了三种可靠性级别，用户根据对可靠性和延迟的要求进行权衡，选择以下的配置。

**acks 参数配置：**

> **acks：**（**只保证数据不丢失，不保证数据不重复**）
> 
>  *  0：producer 不等待 broker 的 ack，这一操作提供了一个最低的延迟，broker一接收到还没有写入磁盘就已经返回，当 broker 故障时有可能丢失数据；
>  *  1：producer 等待 broker 的ack，partition 的 leader 落盘成功后返回 ack，如果在 follower同步成功之前 leader故障，那么将会丢失数据；
>  *  1（all）：producer 等待 broker 的 ack，partition 的 leader 和 follower（**指的是ISR中的follower**） 全部落盘成功后才 返回 ack。但是如果在 follower 同步完成后，broker 发送 ack 之前，leader 发生故障，那么会造成数据重复。(极**限情况，当ISR中只有leader，生产数据也有可能会丢失，场景与acks=1的情况**)

**acks=1 数据丢失案例**![acks=1 数据丢失案例][acks_1]  
**acks=-1 数据丢失案例**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 10]

##### 4）故障处理细节 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 11]  
**LEO：指的是每个副本最大的 offset；**  
**HW：指的是消费者能见到的最大的 offset，ISR 队列中最小的 LEO。（做了两件事：消费一致性 ，存储一致性，不解决丢失与重复问题，acks解决丢失与重复性） \*\*  
（1）follower 故障**

> follower 发生故障后会被临时踢出 ISR，待该 follower 恢复后，follower 会读取本地磁盘 记录的上次的 HW，并将log 文件高于 HW 的部分截取掉，从 HW 开始向 leader 进行同步。 等该 follower 的 LEO 大于等于该Partition 的 HW，即 follower 追上 leader 之后，就可以重 新加入 ISR 了。

**（2）leader 故障**

> leader 发生故障之后，会从 ISR 中选出一个新的 leader，之后，为保证多个副本之间的数据一致性，其余的 follower会先将各自的 log 文件高于 HW 的部分截掉，然后从新的 leader同步数据。

**注意：这只能保证副本之间的数据一致性，并不能保证数据不丢失或者不重复。**

##### 2.2.3 Exactly Once 语义 #####

>  *  将服务器的 ACK 级别设置为-1，可以保证 Producer 到 Server 之间不会丢失数据，即 **At Least Once 语义**。相对的，将服务器 ACK 级别设置为 0，可以保证生产者每条消息只会被 发送一次，即 **At Most Once 语义**。
>  *  At Least Once 可以保证数据不丢失，但是不能保证数据不重复；相对的，At Least Once 可以保证数据不重复，但是不能保证数据不丢失。但是，**对于一些非常重要的信息，比如说 交易数据，下游数据消费者要求数据既不重复也不丢失，即Exactly Once 语义**。在 0.11 版 本以前的 Kafka，对此是无能为力的，只能保证数据不丢失，再在下游消费者对数据做全局去重。对于多个下游应用的情况，每个都需要单独做全局去重，这就对性能造成了很大影响。
>  *  0.11 版本的 Kafka，引入了一项重大特性：幂等性。所谓的幂等性就是指 Producer 不论 向 Server 发送多少次重复数据，Server 端都只会持久化一条。幂等性结合 At Least Once 语 义，就构成了 Kafka 的 Exactly Once 语义。即： **At Least Once + 幂等性 = Exactly Once** **（ Exactly Once : 幂等性 enable.idompotence=true即可 (开启后acks默认为-1)将去重放在kafka中）**
>  *  要启用幂等性，只需要将Producer 的参数中 enable.idompotence 设置为 true 即可。Kafka的幂等性实现其实就是将原来下游需要做的去重放在了数据上游。开启幂等性的 Producer 在 初始化的时候会被分配一个 PID，发往同一Partition 的消息会附带 Sequence Number。而 Broker 端会对<PID, Partition,SeqNumber>做缓存，当具有相同主键的消息提交时，Broker 只 会持久化一条。
>  *  **但是 PID 重启就会变化，同时不同的Partition 也具有不同主键，所以幂等性无法保证跨 分区跨会话的 Exactly Once。**

#### 2.3 Kafka消费者 ####

##### 2.3.1 消费方式 #####

> **consumer 采用 pull（拉）模式从 broker 中读取数据。  
> push（推）模式很难适应消费速率不同的消费者，因为消息发送速率是由 broker 决定的。**  
> 它的目标是尽可能以最快速度传递消息，但是这样很容易造成 consumer 来不及处理消息，典型的表现就是拒绝服务以及网络拥塞。而 pull模式则可以根据 consumer 的消费能力以适 当的速率消费消息。  
> **pull 模式不足之处是，如果 kafka没有数据，消费者可能会陷入循环中，一直返回空数据**。针对这一点，Kafka 的消费者在消费数据时会传入一个时长参数timeout，如果当前没有 数据可供消费，consumer 会等待一段时间之后再返回，这段时长即为 timeout。

##### 2.3.2 分区分配策略 （同一个组里的可以同时消费一个主题，不能同时消费一个分区） #####

> 一个 consumer group 中有多个 consumer，一个 topic 有多个 partition，所以必然会涉及到partition 的分配问题，即确定那个 partition 由哪个 consumer 来消费。Kafka 有两种分配策略，  
> **一是RoundRobin，一是 Range。**

**1）RoundRobin**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 12]  
**2）Range**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 13]  
**分区规则：**  
轮询(RoundRobin)：按顺序一个一个分（只有当消费者组订阅的主题是一样的，才能用）消费者绑定多个topic的时候，topicAndPartition会将所有topic的数据取出来，计算出hash值，排序后轮询分配到consumer  
案例（有消费者组A,B topic ： T1(分区0,1,2),T2(分区0,1,2)），A订阅T1,B订阅T2会发生什么情况

*  因为采用了轮询，所以把topic所有数据T1,T2的所有分区数据取出来做了一个排序（通过hash）然后轮询分配，会导致A读到了T2的数据，B读到了T1的数据，所以不能用这个方式:

按组来分配消息给消费者的随机（Range）（默认是这个）  
假设有7个分区，3个消费者，则 消费者1 - 3个分区 ， 消费者2- 2个分区， 消费者3- 2个分区  
如果消费者订阅的主题是一样的 则可以用RoundRobin，否则用Range  
:按主题来分配消息 （先考虑谁订阅了该主题，在只有订阅的消费者中分配）  
**当消费者个数发生变化，会触发重新分配**  
按 消费组+主题+分区 保存偏移量 GTP

##### 2.3 offset 的维护 #####

> 由于 consumer 在消费过程中可能会出现断电宕机等故障，consumer 恢复后，需要从故 障前的位置的继续消费，所以consumer 需要实时记录自己消费到了哪个 offset，以便故障恢 复后继续消费。  
> ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 14]

Kafka 0.9 版本之前，consumer 默认将 offset 保存在 Zookeeper 中，从 0.9 版本开始，  
consumer 默认将 offset 保存在 Kafka 一个内置的 topic 中，该 topic 为\_\_consumer\_offsets。

##### 2.4 Kafka 高效读写数据 #####

**1）顺序写磁盘**

> Kafka 的 producer 生产数据，要写入到 log 文件中，写的过程是一直追加到文件末端，为顺序写。官网有数据表明，同样的磁盘，顺序写能到 600M/s，而随机写只有 100K/s。这与磁盘的机械机构有关，顺序写之所以快，是因为其省去了大量磁头寻址的时间。

**2）零复制技术**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 15]

##### 2.5 Zookeeper 在 Kafka 中的作用 #####

Kafka 集群中有一个 broker 会被选举为 Controller，负责管理集群 broker 的上下线，所有 topic 的分区副本分配和 leader 选举等工作。Controller 的管理工作都是依赖于 Zookeeper 的。以下为 partition 的 leader 选举过程：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 16]

##### 2.5 Kafka 事务 #####

Kafka 从 0.11 版本开始引入了事务支持。事务可以保证 Kafka 在 Exactly Once 语义的基础上，生产和消费可以跨分区和会话，要么全部成功，要么全部失败。  
**2.6.1 Producer 事务**

> 为了实现跨分区跨会话的事务，需要引入一个全局唯一的 Transaction ID，并将 Producer 获得的PID和Transaction ID 绑定。这样当Producer 重启后就可以通过正在进行的 Transaction ID 获得原来的 PID。为了管理 Transaction，Kafka 引入了一个新的组件 Transaction Coordinator。Producer 就是通过和 Transaction Coordinator 交互获得 Transaction ID 对应的任务状态。TransactionCoordinator 还负责将事务所有写入 Kafka 的一个内部 Topic，这样即使整个服务重启，由于事务状态得到保存，进行中的事务状态可以得到恢复，从而继续进行。

**2.6.2 Consumer 事务**

> 上述事务机制主要是从 Producer 方面考虑，对于 Consumer 而言，事务的保证就会相对 较弱，尤其时无法保证 Commit的信息被精确消费。这是由于 Consumer 可以通过 offset 访 问任意信息，而且不同的 Segment File生命周期不同，同一事务的消息可能会出现重启后被 删除的情况。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70]: /images/20221120/6ea51c55cb2c42ef94e8f2600133a7fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 1]: /images/20221120/abff0d072af44baa88cc43afc33c4ad8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 2]: /images/20221120/6361358bc93f42b796396fa72ec1e929.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 3]: /images/20221120/2fa5c6e6e8044710ac427aeb1a0ba5e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 4]: /images/20221120/2f51ac52a00b4b009e4213b566ea75af.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 5]: /images/20221120/d4947a58c2524bd8bc255044453f8f25.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 6]: /images/20221120/5be1c2d4be26408c982417f14962e748.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 7]: /images/20221120/7035d523a08c482badcc1596223574b6.png
[20201209215625101.png]: /images/20221120/c01cb748e640495dbe9c9c9b1b04190a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 8]: /images/20221120/70e0c04d505a4788927e0de493c42a8d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 9]: /images/20221120/b2843461067049c3b8fb3afbf5e14cb6.png
[acks_1]: /images/20221120/0d638757bc5243fa9c38de15d1cedb3a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 10]: /images/20221120/8d772fdab6c943b3b4cd3c8240635375.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 11]: /images/20221120/ea5cfb43a4754862a2da00b853adee6d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 12]: /images/20221120/125070e4d81a486ba1b1ffc200d73950.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 13]: /images/20221120/81614e09729c4b50a2073128ccad4631.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 14]: /images/20221120/6c2a5e2edb6a42e198069f75635e6504.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 15]: /images/20221120/f1b8faddd1aa485f9eae62e0503a648d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTM3NzIy_size_16_color_FFFFFF_t_70 16]: /images/20221120/3a6610a2e08d4ee5bedf291e624813d3.png