分布式事务解决方案之TCC（Hmily）

左手的ㄟ右手 2022-12-15 02:59 207阅读 0赞

# 1 什么是TCC事务 #

TCC是Try、Confirm、Cancel三个词语的缩写，TCC要求每个分支事务实现三个操作：预处理Try、确认Confirm、撤销Cancel。Try操作做业务检查及资源预留，Confirm做业务确认操作，Cancel实现一个与Try相反的操作即回滚操作。TM首先发起所有的分支事务的try操作，任何一个分支事务的try操作执行失败，TM将会发起所有分支事务的Cancel操作，若try操作全部成功，TM将会发起所有分支事务的Confirm操作，其中Confirm/Cancel操作若执行失败，TM会进行重试。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center]  
分支事务失败的情况：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 1]  
TCC分为三个阶段：

(1) Try 阶段是做业务检查(一致性)及资源预留(隔离)，此阶段仅是一个初步操作，它和后续的Confirm 一起才能真正构成一个完整的业务逻辑。

(2) Confirm 阶段是做确认提交，Try阶段所有分支事务执行成功后开始执行 Confirm。通常情况下，采用TCC则认为 Confirm阶段是不会出错的。即：只要Try成功，Confirm一定成功。若Confirm阶段真的出错了，需引入重试机制或人工处理。

(3) Cancel 阶段是在业务执行错误需要回滚的状态下执行分支事务的业务取消，预留资源释放。通常情况下，采用TCC则认为Cancel阶段也是一定成功的。若Cancel阶段真的出错了，需引入重试机制或人工处理。

TM事务管理器：

TM事务管理器可以实现为独立的服务，也可以让全局事务发起方充当TM的角色，TM独立出来是为了成为公用组件，是为了考虑系统结构和软件复用。TM在发起全局事务时生成全局事务记录，全局事务ID贯穿整个分布式事务调用链条，用来记录事务上下文，追踪和记录状态，由于Confirm 和cancel失败需进行重试，因此需要实现为幂等，幂等性是指同一个操作无论请求多少次，其结果都相同。

TCC需要注意三种异常处理分别是空回滚、幂等、悬挂:

(1) 空回滚  
在没有调用 TCC 资源 Try 方法的情况下，调用了二阶段的 Cancel 方法，Cancel 方法需要识别出这是一个空回滚，然后直接返回成功。出现原因是当一个分支事务所在服务宕机或网络异常，分支事务调用记录为失败，这个时候其实是没有执行Try阶段，当故障恢复后，分布式事务进行回滚则会调用二阶段的Cancel方法，从而形成空回滚。

解决思路是关键就是要识别出这个空回滚。思路很简单就是需要知道一阶段是否执行，如果执行了，那就是正常回滚；如果没执行，那就是空回滚。前面已经说过TM在发起全局事务时生成全局事务记录，全局事务ID贯穿整个分布式事务调用链条。再额外增加一张分支事务记录表，其中有全局事务 ID 和分支事务 ID，第一阶段 Try 方法里会插入一条记录，表示一阶段执行了。Cancel 接口里读取该记录，如果该记录存在，则正常回滚；如果该记录不存在，则是空回滚。

(2) 幂等  
通过前面介绍已经了解到，为了保证TCC二阶段提交重试机制不会引发数据不一致，要求 TCC 的二阶段 Try、Confirm 和 Cancel 接口保证幂等，这样不会重复使用或者释放资源。如果幂等控制没有做好，很有可能导致数据不一致等严重问题。

解决思路在上述“分支事务记录”中增加执行状态，每次执行前都查询该状态。

(3) 悬挂  
悬挂就是对于一个分布式事务，其二阶段 Cancel 接口比 Try 接口先执行。

出现原因是在 RPC 调用分支事务try时，先注册分支事务，再执行RPC调用，如果此时 RPC 调用的网络发生拥堵，通常 RPC 调用是有超时时间的，RPC 超时以后，TM就会通知RM回滚该分布式事务，可能回滚完成后，RPC 请求才到达参与者真正执行，而一个 Try 方法预留的业务资源，只有该分布式事务才能使用，该分布式事务第一阶段预留的业务资源就再也没有人能够处理了，对于这种情况，我们就称为悬挂，即业务资源预留后没法继续处理。

解决思路是如果二阶段执行完成，那一阶段就不能再继续执行。在执行一阶段事务时判断在该全局事务下，“分支事务记录”表中是否已经有二阶段事务记录，如果有则不执行Try。

# 2 Hmily简介 #

Hmily是一个高性能分布式事务TCC开源框架。基于Java语言来开发（JDK1.8），支持Dubbo，Spring Cloud等RPC框架进行分布式事务。它目前支持以下特性：

(1) 支持嵌套事务 (Nested transaction support).  
(2) 采用 disruptor框架进行事务日志的异步读写，与RPC框架的性能毫无差别。  
(3) 支持 SpringBoot-starter 项目启动，使用简单。  
(4) RPC 框架支持 : dubbo,motan,springcloud。  
(5) 本地事务存储支持 : redis,mongodb,zookeeper,file,mysql。  
(6) 事务日志序列化支持 ：java，hessian，kryo，protostuff。  
(7) 采用 Aspect AOP 切面思想与Spring无缝集成，天然支持集群。  
(8) RPC 事务恢复，超时异常恢复等。

Hmily利用AOP对参与分布式事务的本地方法与远程方法进行拦截处理，通过多方拦截，事务参与者能透明的调用到另一方的Try、Confirm、Cancel方法；传递事务上下文；并记录事务日志，酌情进行补偿，重试等。Hmily 不需要事务协调服务，但需要提供一个数据库(mysql/mongodb/zookeeper/redis/file)来进行日志存储。

Hmily实现的TCC服务与普通的服务一样，只需要暴露一个接口，也就是它的Try业务。Confirm/Cancel业务逻辑，只是因为全局事务提交/回滚的需要才提供的，因此Confirm/Cancel业务只需要被Hmily TCC事务框架发现即可，不需要被调用它的其他业务服务所感知。

# 3 案例 #

## 3.1 案例说明 ##

本实例通过Hmily实现TCC分布式事务，模拟两个账户的转账交易过程。两个账户分别在不同的银行(张三在bank1、李四在bank2)，bank1、bank2是两个微服务。交易过程是，张三给李四转账指定金额。上述交易步骤，要么一起成功，要么一起失败，必须是一个整体性的事务。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 2]  
张三：

try：
    	try幂等校验
    	try悬挂处理
    	检查余额是否够100元
    	扣减100元
    	
    confirm：
    	空
    
    cancel：
    	cancel幂等校验
    	cancel空回滚处理
    	增加可用余额100元

李四：

try:
    	try幂等校验
    	try悬挂处理
    	余额增加100元
    	
    confirm:
    	空
    
    cancel：
    	cancel幂等校验
    	防止空回滚
    	减去余额100元

## 3.2 数据库准备 ##

(1) hmily数据库

CREATE DATABASE `hmily` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci

(2) 创建bank1库，并导入以下表结构和数据(包含张三账户)

CREATE DATABASE `bank1` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci
    
    CREATE TABLE `account_info` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `name` varchar(255) DEFAULT NULL COMMENT '户主姓名',
      `card_number` int(11) DEFAULT NULL COMMENT '银行卡号',
      `password` varchar(255) DEFAULT NULL COMMENT '帐户密码',
      `balance` int(11) DEFAULT NULL COMMENT '帐户余额',
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
    
    insert into account_info(name,card_number,password,balance) values('张三用户',1,'123456',10000)

(3) 创建bank2库，并导入以下表结构和数据(包含李四账户)

CREATE DATABASE `bank2` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci
    
    CREATE TABLE `account_info` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `name` varchar(255) DEFAULT NULL COMMENT '户主姓名',
      `card_number` int(11) DEFAULT NULL COMMENT '银行卡号',
      `password` varchar(255) DEFAULT NULL COMMENT '帐户密码',
      `balance` int(11) DEFAULT NULL COMMENT '帐户余额',
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
    
    
    insert into account_info(name,card_number,password,balance) values('李四用户',1,'123456',0)

(4) bank1、bank2 创建共同表

CREATE TABLE `local_try_log` (
    `tx_no` varchar(64) NOT NULL COMMENT '事务id',
    `create_time` datetime DEFAULT NULL,
    PRIMARY KEY (`tx_no`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
    
    CREATE TABLE `local_confirm_log`(
     `tx_no` varchar(64) NOT NULL COMMENT '事务id',
     `create_time` datetime DEFAULT NULL
    )ENGINE=InnoDB DEFAULT CHARSET=utf8;
    
    CREATE TABLE `local_cancel_log`(
    `tx_no` varchar(64) NOT NULL COMMENT '事务id',
    `create_time` datetime DEFAULT NULL,
    PRIMARY KEY (`tx_no`)
    )ENGINE=InnoDB DEFAULT CHARSET=utf8;

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 3]

## 3.3 SpringCloud 集成Hmily ##

### 3.3.1 添加依赖 ###

<dependency>
                <groupId>org.dromara</groupId>
                <artifactId>hmily-spring-boot-starter-springcloud</artifactId>
                <version>2.0.6-RELEASE</version>
            </dependency>

### 3.3.2 修改配置文件 ###

org:
      dromara:
        hmily :
          #序列化
          serializer: kryo
          #rpc超时时间，单位秒
          recoverDelayTime: 30
          #重试次数
          retryMax: 5
          scheduledDelay: 30
          scheduledThreadMax:  10
          repositorySupport: db
          #是否是发起方
          started: true
          hmilyDbConfig:
            driverClassName: com.mysql.jdbc.Driver
            url: jdbc:mysql://192.168.38.40:3306/hmily?useUnicode=true&characterEncoding=UTF-8&useSSL=false&serverTimezone=Asia/Shanghai
            username: root
            password: 123456

### 3.3.3 使用方法 ###

@Transactional
        @Hmily(confirmMethod = "confirm", cancelMethod = "cancel")
        public void updateAccountBalance(String cardNumber, Integer money) { 
            //try method
    
        }
    	
    	public void confirm(String cardNumber, Integer money) { 
            //confirm method
        }
    	
    	public void cancel(String cardNumber, Integer money){ 
    		//confirm cancel
    		
    	}

### 3.3.4 bank1 AccountInfoService ###

package com.bank1.service;
    
    import com.bank1.client.Bank2Client;
    import com.bank1.excepiton.FeignClientException;
    import com.bank1.excepiton.TccTryException;
    import com.bank1.mapper.TccMapper;
    import lombok.extern.slf4j.Slf4j;
    import org.dromara.hmily.annotation.Hmily;
    import org.dromara.hmily.core.concurrent.threadlocal.HmilyTransactionContextLocal;
    import org.springframework.beans.factory.annotation.Autowired;
    import org.springframework.stereotype.Service;
    import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
    
    import com.bank1.mapper.AccountInfoMapper;
    import com.bank1.po.AccountInfoPo;
    import org.springframework.transaction.annotation.Transactional;
    
    
    @Service
    @Slf4j
    public class AccountInfoService extends ServiceImpl<AccountInfoMapper, AccountInfoPo> { 
    
    
        @Autowired
        private TccMapper tccMapper;
    
        @Autowired
        private Bank2Client bank2Client;
    
    
        /** * @Description: tcc try操作,@Hmily注解是开启tcc try方法，在注解中指定confirm方法和cancel方法，并且参数一样 * @Author:rosh * @date: 2020-10-13 * @param cardNumber 卡号 * @param money 金额 */
        @Transactional
        @Hmily(confirmMethod = "confirm", cancelMethod = "cancel")
        public void updateAccountBalance(String cardNumber, Integer money) { 
            //1 获取全局事务ID
            String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
            log.warn("AccountInfoService invoke updateAccountBalance , transId : {}", transId);
            //2 幂等校验
            if (tccMapper.isExistTry(transId) > 0) { 
                return;
            }
            //3 悬挂处理，保证try在cancel执行之前
            if (tccMapper.isExistCancel(transId) > 0) { 
                throw new TccTryException("AccountInfoService invoke updateAccountBalance 出现悬挂现象，transId: " + transId);
            }
            //4 扣减金额
            if (baseMapper.subtractBalance(cardNumber, money) <= 0) { 
                //扣减失败
                throw new TccTryException("bank1 扣减金额失败,transiId: " + transId);
            }
            //5 更新幂等状态
            tccMapper.addTry(transId);
            Boolean rs = bank2Client.transfer(cardNumber, money);
            log.info("bank2Client远程调用结果:{}", rs);
            //6 转账
            if (Boolean.FALSE.equals(rs)) { 
                throw new FeignClientException("AccountInfoService invoke updateAccountBalance failed cause bank2Client invoke transfer failed");
            }
    
        }
    
        /** * @Description: tcc confirm * @Author:rosh * @date: 2020-10-13 * @param cardNumber 卡号 * @param money 金额 */
        public void confirm(String cardNumber, Integer money) { 
            // Do nothing
            String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
            log.warn("AccountInfoService invoke confirm , transId : {}", transId);
        }
    
        /** * @Description: tcc cancel * @Author:rosh * @date: 2020-10-13 * @param cardNumber 卡号 * @param money 金额 */
        @Transactional
        public void cancel(String cardNumber, Integer money) { 
            // 1 全局事务ID
            String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
            log.warn("AccountInfoService invoke cancel , transId : {}", transId);
            // 2 幂等
            if (tccMapper.isExistCancel(transId) > 0) { 
                return;
            }
            //3 防止空回滚,确保已经try已经执行
            if (tccMapper.isExistTry(transId) <= 0) { 
                return;
            }
            //4 增加
            baseMapper.addBalance(cardNumber, money);
            //5 更新幂等
            tccMapper.addCancel(transId);
        }
    
    
    }

### 3.3.5 bank2 AccountInfoService ###

package com.bank2.service;
    
    
    import com.bank2.excepiton.TccTryException;
    import com.bank2.mapper.AccountInfoMapper;
    import com.bank2.mapper.TccMapper;
    import com.bank2.po.AccountInfoPo;
    import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
    import lombok.extern.slf4j.Slf4j;
    import org.dromara.hmily.annotation.Hmily;
    import org.dromara.hmily.core.concurrent.threadlocal.HmilyTransactionContextLocal;
    import org.springframework.beans.factory.annotation.Autowired;
    import org.springframework.stereotype.Service;
    import org.springframework.transaction.annotation.Transactional;
    
    @Service
    @Slf4j
    public class AccountInfoService extends ServiceImpl<AccountInfoMapper, AccountInfoPo> { 
    
        @Autowired
        private TccMapper tccMapper;
    
        /** * @Description: tcc try操作 * @Author:rosh * @date: 2020-10-13 * @param cardNumber 卡号 * @param money 金额 */
        @Hmily(confirmMethod = "confirm", cancelMethod = "cancel")
        @Transactional
        public void addAccountBalance(String cardNumber, Integer money) { 
            //1 获取分布式ID
            String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
            log.warn("AccountInfoService invoke addAccountBalance , transId : {}", transId);
    
            //2 幂等
            if (tccMapper.isExistTry(transId) > 0) { 
                return;
            }
            //3 悬挂，防止已经执行过cancel
            if (tccMapper.isExistCancel(transId) > 0) { 
                throw new TccTryException("AccountInfoService invoke addAccountBalance 出现悬挂现象，transId: " + transId);
            }
            //4 增加金额
            baseMapper.addBalance(cardNumber, money);
            //5 更新幂等状态
            tccMapper.addTry(transId);
        }
    
    
        /** * @Description: tcc confirm操作 * @Author:rosh * @date: 2020-10-13 * @param cardNumber 卡号 * @param money 金额 */
        public void confirm(String cardNumber, Integer money) { 
            //获取全局事务ID
            String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
            log.warn("AccountInfoService invoke confirm , transId : {}", transId);
        }
    
        /** * @Description: tcc cancel操作 * @Author:rosh * @date: 2020-10-13 * @param cardNumber 卡号 * @param money 金额 */
        @Transactional
        public void cancel(String cardNumber, Integer money) { 
            //1 获取全局事务ID
            String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
            log.warn("AccountInfoService invoke cancel , transId : {}", transId);
            // 2 幂等
            if (tccMapper.isExistCancel(transId) > 0) { 
                return;
            }
            //3 防止空回滚,确保已经try已经执行
            if (tccMapper.isExistTry(transId) <= 0) { 
                return;
            }
            //4 减少
            baseMapper.subtractBalance(cardNumber, money);
            //5 更新幂等
            tccMapper.addCancel(transId);
        }
    
    
    }

### 3.3.6 Bank2Client ###

@FeignClient(value="bank2-server",fallback=Bank2ClientFallback.class)
    @Service
    public interface Bank2Client { 
    
        @GetMapping("/bank2/transfer")
        @Hmily
        Boolean transfer(@RequestParam("cardNumber")  String cardNumber,@RequestParam("money") Integer money);
    
    }

## 3.4 测试 ##

(1) 张三向李四转账成功。

数据库初始化数据：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 4]  
调用接口：http://localhost:8500/bank1/transfer?cardNumber=1&money=10  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 6]  
(2) 李四事务失败，张三事务回滚成功。

数据库初始化数据：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 7]  
修改bank2接口：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 8]  
调取接口：http://localhost:8500/bank1/transfer?cardNumber=1&money=250  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 9]  
查看bank1日志：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 10]  
查看数据库：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 11]

## 3.5 GitHub 地址 ##

https://github.com/zhurongsheng666/springcloud-tcc

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/18c09d7bcc1047c985666dd729de5578.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/e690b1aa6bf043f19816af34259f4f66.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/c8bdbf1f54a14c629030e65b0260a079.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/5be7cccd0cea4d9da0f0e7fad2501f18.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/684d2316c3f941dbba881e1f32ccc965.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/ccb0b26d4858478c8383c9afc762c629.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/2e6d7c80333f48e693100e3a8459c9b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221123/220360d1435342e68a22fbc549439744.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221123/e0c703362bad427397dc54bd4bbe562a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221123/858121777a75499e8d539df4ab8f8381.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221123/732a97c8e2bf48fbbf5924ffafab7634.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM0MTI1OTk5_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221123/5b8d0c473d25401ca5920b9c390886ad.png