授人以渔式源码分析RocketMQ Broker如何感知Consumer的异常宕机、正常下线？

约定不等于承诺〃 2023-10-01 10:48 5阅读 0赞

## 一、前言 ##

在研究RocketMQ Consumer消费超时，进而导致重复消费时，突然想到了一个事情：`Broker如何感知Consumer/Producer的异常宕机、下线？`以及`剩余的Consumer如何快速重新做负载？`，原本在理完Broker和Consumer的源码后也得出了一些结论，但总感觉差点意思，于是在本地运行了RocketMQ源码（[RocketMQ源码如何在本地运行][RocketMQ]），并增加了一些控制台输出和日志；本文将结合控制台和日志输出进行`保姆级授人以渔式`的源码分析。

### 1）前置知识 ###

如果想要深入研究RocketMQ（完全看懂这篇文章），对于一些类的作用可以参考：  
1、[RocketMQ之Consumer端负载均衡源码解析（RebalanceImpl）][RocketMQ_Consumer_RebalanceImpl]  
2、[RocketMQ：深度剖析Broker启动流程原理、源码][RocketMQ_Broker]  
3、[深度剖析RocketMQ Consumer start启动流程源码][RocketMQ Consumer start]

当然，不乏很多大佬，对一些类很了解。下面我们直接开始正文。

## 二、思路+源码分析 ##

Consumer的下线分两种情况：正常下线和异常宕机。

### 1、正常下线（代码中shutDown） ###

正常下线，最初我个人感觉它有点像`kill -15 [pid] 命令`或者说是`线程池的正常shutDown()`，于是推测是否RocketMQ也像它们一样，在程序关闭的时候会有一个钩子函数进入到Consumer的shutdown或者close方法。于是我进入到Consumer的实现类`DefaultMQPushConsumerImpl`中找到了shutdown()方法。  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_19_color_FFFFFF_t_70_g_se_x_16]  
进入到shutdown()方法内部，有一些停止消息消费服务、负载均衡服务、持久化消息offset等操作，我看到一个`mQClientFactory.unregisterConsumer()`方法好像很符合我的预期。  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16]  
再进去看一下，`MQClientInstance#unregisterConsumer()`它做了什么？

> 1、因为MQClientInstance是JVM层面唯一的，所以我们要在其consumerTable字段中移除当前消费者。  
> 2、以加锁的方式下线客户端,`unregisterClientWithLock()`。

public void unregisterConsumer(final String group) {
        
        this.consumerTable.remove(group);
        // client下线
        this.unregisterClientWithLock(null, group);
    }

继续往下走：

// MQClientInstance#unregisterClientWithLock()
    private void unregisterClientWithLock(final String producerGroup, final String consumerGroup) {
        
        try {
        
            if (this.lockHeartbeat.tryLock(LOCK_TIMEOUT_MILLIS, TimeUnit.MILLISECONDS)) {
        
                try {
        
                    // 下线客户端，点进去
                    this.unregisterClient(producerGroup, consumerGroup);
                } catch (Exception e) {
        
                    log.error("unregisterClient exception", e);
                } finally {
        
                    this.lockHeartbeat.unlock();
                }
            } else {
        
                log.warn("lock heartBeat, but failed. [{}]", this.clientId);
            }
        } catch (InterruptedException e) {
        
            log.warn("unregisterClientWithLock exception", e);
        }
    }
    
    // MQClientInstance#unregisterClient()
    private void unregisterClient(final String producerGroup, final String consumerGroup) {
        
        Iterator<Entry<String, HashMap<Long, String>>> it = this.brokerAddrTable.entrySet().iterator();
        while (it.hasNext()) {
        
            Entry<String, HashMap<Long, String>> entry = it.next();
            String brokerName = entry.getKey();
            HashMap<Long, String> oneTable = entry.getValue();
    
            if (oneTable != null) {
        
                for (Map.Entry<Long, String> entry1 : oneTable.entrySet()) {
        
                    String addr = entry1.getValue();
                    if (addr != null) {
        
                        try {
        
                            // 点进入
                            this.mQClientAPIImpl.unregisterClient(addr, this.clientId, producerGroup, consumerGroup, 3000);
                            log.info("unregister client[Producer: {} Consumer: {}] from broker[{} {} {}] success", producerGroup, consumerGroup, brokerName, entry1.getKey(), addr);
                        } catch (RemotingException e) {
        
                            log.error("unregister client exception from broker: " + addr, e);
                        } catch (InterruptedException e) {
        
                            log.error("unregister client exception from broker: " + addr, e);
                        } catch (MQBrokerException e) {
        
                            log.error("unregister client exception from broker: " + addr, e);
                        }
                    }
                }
            }
        }
    }

最后会进入到`MQClientApiImpl#unregisterClient()`中通过netty调用Broker，告知Broker当前Consumer下线了。  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
假如我直接就`kill -9` 或者 服务所在机器`突然宕机`，RocketMQ怎么处理呢？本来已经打算"鸵鸟算法"pass掉它了，但我太想知道它是怎么搞的了，第二天开始加日志、控制台输出，根据日志输出去源码全局搜索找入口。

### 2、异常宕机（直接kill掉进程） ###

在`RebalanceImpl#rebalanceByTopic()`方法中consumer根据topic做queue的负载均衡时，我们把订阅当前topic下的`所有consumer的ID`都在控制台输出：  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 2]  
**启动两个消费者，Consumer和Consumer2，他们都是`study-consumer`这个Consumer Group下的消费者。**

然后把Consumer停掉之后，看Consumer2控制台的输出：

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 3]  
从控制台的输出来看，在`14:37:07`这个时间点Consumer2重新进行了负载均衡；接着我们去看一下Broker的日志在这个时间点发生了什么？

2021-12-26 14:37:07 INFO NettyEventExecutor - NETTY EVENT: remove channel[ClientChannelInfo [channel=[id: 0x78a85d90, L:/10.90.66.61:10911 ! R:/10.90.66.61:53550], clientId=10.90.66.61@39280, language=JAVA, version=373, lastUpdateTimestamp=1640500621935]][10.90.66.61:53550] from ProducerManager groupChannelTable, producer group: CLIENT_INNER_PRODUCER
    2021-12-26 14:37:07 WARN NettyEventExecutor - NETTY EVENT: remove not active channel[ClientChannelInfo [channel=[id: 0x78a85d90, L:/10.90.66.61:10911 ! R:/10.90.66.61:53550], clientId=10.90.66.61@39280, language=JAVA, version=373, lastUpdateTimestamp=1640500621935]] from ConsumerGroupInfo groupChannelTable, consumer group: study-consumer
    2021-12-26 14:37:07 WARN PullMessageThread_13 - The broker's subscription is not latest, group: study-consumer *

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 4]  
从日志上来看，在Consumer宕机的那一刻，Broker就立即感知到了。

假如我们对RocketMQ的源码不太熟悉，怎么搞嘞。我们根据日志输出的关键信息去源码项目中全局搜索，比如这里我们拿`remove channel[`去源码中搜索：

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 5]  
点进入会进入到`ProducerManager#doChannelCloseEvent()`方法中：  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 6]  
但是好像不太对，我们是Consumer下线，怎么这里进入到了`ProducerManager`？先简单一提，看到后大家就通透了；本质上管理Consumer和Producer的下线的`ProducerManager`和`ConsumerManager`的`doChannelCloseEvent()`的入口在同一个地方。假如这个我们也不知道，怎么搞嘞？

Broker的日志输出中有两行日志带remove，我们再全局搜索下一行的`NETTY EVENT: remove not active channel[`，注意这里也有下线的Consumer客户端信息（`clientId=10.90.66.61@39280`），这个和我们上面做负载均衡时的控制台输出是可以对上的  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 7]  
![在这里插入图片描述][979ae3f254204287aa6582a805fcdfd6.png]  
我们回来，继续看搜索结果：  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 8]  
点进入会进入到`ConsumerGroupInfo#doChannelCloseEvent()`方法中：  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 9]  
往上找，看哪里调用了它；果然是在`ConsumerManager`中，和上面找到的`ProducerManager`一样。  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 10]  
步入正轨了，我们继续往上找，看看哪里调用了`ConsumerManager#doChannelCloseEvent()`方法；  
![在这里插入图片描述][c737a968e90246f7a14a5043283ba376.png]  
有三处都调用了`ConsumerManager#doChannelCloseEvent()`，感觉有点不太对；遇事莫慌，都先点进去看看。他们都是在`ClientHousekeppingService`类中被调用的，分别是74、81、88行。对应的方法分别为`onChannelClose()、onChannelException()、onChannelIdle()`，从命名来看分别是在Channel`关闭、异常、闲置`的时候做Consumer的doChannelCloseEvent()操作。  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 11]  
我们一onChannelClose()为例，来看一下哪里调用了它；  
![在这里插入图片描述][61a0d87672674bfb82e1fffe59b51e26.png]  
在`NettyRemotingAbstract`抽象类中有一个内部类`NettyEventExecutor`，它是一个Runnable实现类（即可执行任务）；  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 12]

#### 1）NettyRemotingAbstract的内部类NettyEventExecutor ####

`NettyEventExecutor`的run()方法会不停的从其内部的阻塞队列`eventQueue`中取出`NettyEvent`，然后根据NettyEvent的类型进入相应的处理逻辑；对应我们的示例，NettyEvent的`type为Close`。  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 13]  
**下面我们需要找到哪里往eventQueue中放入了type为Close的NettyEvent.**

**（1）首先我们看一下`NettyEventExecutor`是在哪里启动的？**  
全局搜索`NettyEventExecutor`，发现调用其start()方法的位置有两处，分别是`NettyRemotingClient`和`NettyRemotingServer`；对于Consumer而言，Broker是作为Server的存在，所以`NettyRemotingServer`才是我们需要的。  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 14]  
在`NettyRemotingServer#start()`方法中调用了`NettyEventExecutor#start()`，而`NettyRemotingServer#start()`是在`Broker启动`的时候调用的，具体流程可以参考：[RocketMQ：深度剖析Broker启动流程原理、源码][RocketMQ_Broker]。  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 15]  
**（2）在NettyEventExecutor\#`putNettyEvent()`方法中会将event添加到`eventQueue`中；**

在`NettyEventExecutor`的外部类`NettyRemotingAbstract`\#`putNettyEvent()`方法中会调用它的`putNettyEvent()`方法。  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 16]  
继续全局搜索`putNettyEvent`，找到`NettyEventType`为`NettyEventType.CLOSE`的地方，共有三处，一样的我们进入`NettyRemotingServer`中；  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 17]

嚯，进入了`NettyConnectManageHandler`\#`channelInactive()`；  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 18]  
这个`channelInactive()`看着就很眼熟，感觉像是Netty的，它还是一个重写的方法；看一下它重写了谁；淦，是`Netty的Channel失活执行方法`。  
![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 19]  
最后，找到`NettyConnectManageHandler`在哪里放入到Netty的BootStrap中的？嗯，嗯，还是在`NettyRemotingServer#start()`方法中：

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 20]

private void prepareSharableHandlers() {
        
        handshakeHandler = new HandshakeHandler(TlsSystemConfig.tlsMode);
        encoder = new NettyEncoder();
        connectionManageHandler = new NettyConnectManageHandler();
        serverHandler = new NettyServerHandler();
    }

## 三、总结 ##

> RocketMQ Broker 和Consumer/Producer的通信采用Netty，无论Consumer是正常调用Broker下线，还是机器异常宕机下线，都是通过Netty的通信机制使Broker可以实时感知到；异常下线主要依靠Netty的`ChannelInboundHandlerAdapter`\#`channelInactive()`。

长时间不使用Netty，都忘了`channelInactive()`；希望这篇文章可以帮助更多的人学到看源码、分析问题的思路。

[RocketMQ]: https://blog.csdn.net/Saintmm/article/details/122144333
[RocketMQ_Consumer_RebalanceImpl]: https://blog.csdn.net/Saintmm/article/details/121084717
[RocketMQ_Broker]: https://blog.csdn.net/Saintmm/article/details/120934879
[RocketMQ Consumer start]: https://blog.csdn.net/Saintmm/article/details/120566798
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_19_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/24bd531a5ea0478195bffed20a725327.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_19,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/e604453cfac6457192fe69486a16e1e1.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/93f17c35900142bd9c365362b9b0eec6.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/9c156b0312944230bd066ed429df84d3.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 3]: https://img-blog.csdnimg.cn/f0f1298d117c4d458d7ae61d7335f1e7.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 4]: https://img-blog.csdnimg.cn/b57fb936de0a49c38b3f16fd3f5156e5.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 5]: https://img-blog.csdnimg.cn/b789eb0051184032866574f3cf130264.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 6]: https://img-blog.csdnimg.cn/c923d11bdc4f4c24931381db02f48f2a.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 7]: https://img-blog.csdnimg.cn/840d9b5ba20c44eab18fcfa4505e97af.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[979ae3f254204287aa6582a805fcdfd6.png]: https://img-blog.csdnimg.cn/979ae3f254204287aa6582a805fcdfd6.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 8]: https://img-blog.csdnimg.cn/2d9bdbbabb2546689620f104e43f9048.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 9]: https://img-blog.csdnimg.cn/3e95d865012047388f9dc47b79ff4fb6.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 10]: https://img-blog.csdnimg.cn/0c30f488dc7542ce89f1ad9e01d07f66.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[c737a968e90246f7a14a5043283ba376.png]: https://img-blog.csdnimg.cn/c737a968e90246f7a14a5043283ba376.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 11]: https://img-blog.csdnimg.cn/bbc8e40360704078950434ed92163ea4.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[61a0d87672674bfb82e1fffe59b51e26.png]: https://img-blog.csdnimg.cn/61a0d87672674bfb82e1fffe59b51e26.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 12]: https://img-blog.csdnimg.cn/cc2c6ecca7bc45b199891bed40462712.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 13]: https://img-blog.csdnimg.cn/ad1f6eca07964a35869b291fcf15aa37.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 14]: https://img-blog.csdnimg.cn/4fe3749c0ed6473d94463b6d368956c8.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 15]: https://img-blog.csdnimg.cn/22f0d81994334a8f9333a2ea46eb65e0.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 16]: https://img-blog.csdnimg.cn/c666b455bda849d0a5e316fdd54ce4a1.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 17]: https://img-blog.csdnimg.cn/659dca987c70456cbd0f2de84a262896.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 18]: https://img-blog.csdnimg.cn/b44767e4503d477e94c42313b3834ff7.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 19]: https://img-blog.csdnimg.cn/3e8c6707ee23411ba6f01fc01ff7bc1a.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5qWg546W5p-S_size_20_color_FFFFFF_t_70_g_se_x_16 20]: https://img-blog.csdnimg.cn/25c0152a70db427190ad93990e7a9e35.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5qWg546W5p-S,size_20,color_FFFFFF,t_70,g_se,x_16