分布式事务TCC(Hmily)

r囧r小猫 2022-12-27 14:16 155阅读 0赞

## 1 什么是TCC事务？ ##

TCC是Try、Confirm、Cancel三个词语，TCC分布式事务的三个操作：预处理Try、确认Confirm、撤销Cancel。**Try操作业务检查以及资源预留，Confirm做业务确认操作，Cancel实现一个月try相反的操作即为回滚操作**。Try操作全部成功，TM将会发起所有分支事务的Confirm操作，如Confirm/Cancel操作失败，TM进行重试。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70]  
分支事务失败的情况：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 1]  
**TCC分了三个阶段：**  
（1）Try阶段是做业务检查以及资源预留，此阶段仅是一个初步操作，它和后续的Confirm 一起才能真正构成一个完整的业务逻辑。  
（2）Confirm阶段是做确认提交，Try阶段所有分支事务执行成功后开始执行Confirm。通常情况下，采用TCC认为Confirm阶段是不会出错，是要Try成功，Confirm一定会成功，如果Confirm阶段真的出错了，需要引入重试机制或者人工处理。  
（3）Cancel阶段是在业务执行错误需要回滚的状态下执行分支事务的业务取消，预留资源释放。如果，采用TCC认为Cancel阶段也是一定成功的。如Cancel阶段真的错误了，也需要重试机制或者人工处理。

TM事务管理器：  
TM事务管理器可以实现为独立的服务，也可让全局事务发起者充当TM的角色，TM在发起全局事务时生成全局事务记录，全局事务ID贯穿整个分布事务调用链条，用来记录事务上下文，追踪和记录状态，Confirm和Cancel失败需进行重试，实现幂等，幂等性时至同一个操作无论请求多少次，结果都是一样。

TCC需要注意三个异常处理，分别是空回滚、幂等、悬挂  
（1）空回滚  
在没有调用 TCC 资源 Try 方法的情况下，调用了二阶段的 Cancel 方法，Cancel 方法需要识别出这是一个空回滚，然后直接返回成功。出现原因是当一个分支事务所在服务宕机或网络异常，分支事务调用记录为失败，这个时候其实是没有执行Try阶段，当故障恢复后，分布式事务进行回滚则会调用二阶段的Cancel方法，从而形成空回滚。

解决思路是关键就是要识别出这个空回滚。思路很简单就是需要知道一阶段是否执行，如果执行了，那就是正常回滚；如果没执行，那就是空回滚。前面已经说过TM在发起全局事务时生成全局事务记录，全局事务ID贯穿整个分布式事务调用链条。再额外增加一张分支事务记录表，其中有全局事务 ID 和分支事务 ID，第一阶段 Try 方法里会插入一条记录，表示一阶段执行了。Cancel 接口里读取该记录，如果该记录存在，则正常回滚；如果该记录不存在，则是空回滚。  
（2）幂等  
通过前面介绍已经了解到，为了保证TCC二阶段提交重试机制不会引发数据不一致，要求 TCC 的二阶段 Try、Confirm 和 Cancel 接口保证幂等，这样不会重复使用或者释放资源

解决思路在上述“分支事务记录”中增加执行状态，每次执行前都查询该状态。  
(3) 悬挂  
悬挂就是对于一个分布式事务，其二阶段 Cancel 接口比 Try 接口先执行。

出现原因是在 RPC 调用分支事务try时，先注册分支事务，再执行RPC调用，如果此时 RPC 调用的网络发生拥堵，通常 RPC 调用是有超时时间的，RPC 超时以后，TM就会通知RM回滚该分布式事务，可能回滚完成后，RPC 请求才到达参与者真正执行，而一个 Try 方法预留的业务资源，只有该分布式事务才能使用，该分布式事务第一阶段预留的业务资源就再也没有人能够处理了，对于这种情况，我们就称为悬挂，即业务资源预留后没法继续处理。

解决思路是如果二阶段执行完成，那一阶段就不能再继续执行。在执行一阶段事务时判断在该全局事务下，“分支事务记录”表中是否已经有二阶段事务记录，如果有则不执行Try。

## 2 Hmily ##

Hmily是高性能分布式事务TCC开源框架，基于Java语言开发（JDK1.8）支持Dubbo，Spring cloud等RPC框架进行分布式事务  
（1）支持嵌套事务  
（2）采用disruptor框架进行事务日志的异步读写，  
（3）支持springBoot-starter 项目启动，  
（4）RPC框架支持：dubbo、motan、spring cloud  
（5）本地事务存储支持：redis、mongodb、zookeeper、file、MySQL  
（6）事务日志序列支持：Java、hessian、kryo、protostuff  
（7）采用aspect aop切面思想与spring无缝集成，支持集群  
（8）RPC事务回复，超时异常回复等  
Hmily利用Aop对参与分布式事务的本地方法与远程方法进行拦截处理，通过多方拦截，事务参与者能透明的调用到另一方的Try、confirm、cancel方法；床底事务上下文；并记录事务日志、进行补偿和重试，Hmily不需要事务协调服务，但需要提供一个数据库（MySQL/mongedb/zookeeper/redis/file）用来进行日子存储。  
Hmily实现的TCC服务与普通的服务一样，只需要一个接口，也就是她的try业务，confirm/cancel业务逻辑，只是因为全局事务提交/回滚的需要才提供的。因此confirm/cancel业务只需要被Hmily TCC事务框架发现，不需要被调用它的其他业务服务

## 案列分析： ##

本实例通过Hmily实现TCC分布式事务，模拟两个账户的转账交易过程。两个账户分别在不同的银行(张三在bank1、李四在bank2)，bank1、bank2是两个微服务。交易过程是，张三给李四转账指定金额。上述交易步骤，要么一起成功，要么一起失败，必须是一个整体性的事务  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 2]  
**案列逻辑：**  
张三：

try：
    	try幂等校验
    	try悬挂处理
    	检查余额是否够100元
    	扣减100元
    	
    confirm：
    	空
    
    cancel：
    	cancel幂等校验
    	cancel空回滚处理
    	增加可用余额100元

李四：

try:
    	try幂等校验
    	try悬挂处理
    	余额增加100元
    	
    confirm:
    	空
    
    cancel：
    	cancel幂等校验
    	防止空回滚
    	减去余额100元

数据库（MySQL）准备：  
创建一个Hmily数据库：

CREATE DATABASE `hmily` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci

创建bank1库（张三），并且插入一条数据：

CREATE DATABASE `bank1` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci
    
    CREATE TABLE `account_info` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `name` varchar(255) DEFAULT NULL COMMENT '户主姓名',
      `card_number` int(11) DEFAULT NULL COMMENT '银行卡号',
      `password` varchar(255) DEFAULT NULL COMMENT '帐户密码',
      `balance` int(11) DEFAULT NULL COMMENT '帐户余额',
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
    
    insert into account_info(name,card_number,password,balance) values('张三用户',1,'123456',10000)

创建bank2库（李四），并且插入一条数据：

CREATE DATABASE `bank2` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci
    
    CREATE TABLE `account_info` (
      `id` int(11) NOT NULL AUTO_INCREMENT,
      `name` varchar(255) DEFAULT NULL COMMENT '户主姓名',
      `card_number` int(11) DEFAULT NULL COMMENT '银行卡号',
      `password` varchar(255) DEFAULT NULL COMMENT '帐户密码',
      `balance` int(11) DEFAULT NULL COMMENT '帐户余额',
      PRIMARY KEY (`id`)
    ) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;
    
    
    insert into account_info(name,card_number,password,balance) values('李四用户',1,'123456',0)

还需要再bank1和bank2都创建Hmily日志表：

CREATE TABLE `local_try_log` (
    `tx_no` varchar(64) NOT NULL COMMENT '事务id',
    `create_time` datetime DEFAULT NULL,
    PRIMARY KEY (`tx_no`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
    
    CREATE TABLE `local_confirm_log`(
     `tx_no` varchar(64) NOT NULL COMMENT '事务id',
     `create_time` datetime DEFAULT NULL
    )ENGINE=InnoDB DEFAULT CHARSET=utf8;
    
    CREATE TABLE `local_cancel_log`(
    `tx_no` varchar(64) NOT NULL COMMENT '事务id',
    `create_time` datetime DEFAULT NULL,
    PRIMARY KEY (`tx_no`)
    )ENGINE=InnoDB DEFAULT CHARSET=utf8;

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 3]  
这时候准备工作做好了，开始再项目（spring-clund）中集成Hmily  
pom.xml文件：

<dependency>
       <groupId>org.dromara</groupId>
        <artifactId>hmily-spring-boot-starter-springcloud</artifactId>
        <version>2.0.6-RELEASE</version>
    </dependency>

配置文件修改：

org:
      dromara:
        hmily:
          serializer: kryo
          recoverDelayTime: 30
          retryMax: 30
          scheduledDelay: 30
          scheduledThreadMax:  10
          repositorySupport: db
          started: true    #注意这个设置
          hmilyDbConfig:
            driverClassName: com.mysql.jdbc.Driver
            url:  jdbc:mysql://192.168.0.73:3306/hmily?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai
            username: root
            password: 111111

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 4]  
Hmily所使用的三个方法

/** * try幂等校验 * try悬挂处理 * 检查余额是够扣减金额 * 扣减金额 * @param amount */
        //只要标记@Hmily就是try方法，在注解中指定confirm、cancel两个方法的名字
        @Transactional
        @Hmily(confirmMethod="commit",cancelMethod="rollback")
        public void updateAccountBalance(String accountNo, Double amount) { 
        
        }
    
     	//confirm方法
        @Transactional
        public void commit(String accountNo, Double amount){ 
        
        }
    	
    	   /** cancel方法 * cancel幂等校验 * cancel空回滚处理 * 增加可用余额 * @param accountNo * @param amount */
        @Transactional
        public void rollback(String accountNo, Double amount){ 
    	
    	}

bank1 类AccountInfoBiz

package com.study.biz;
    import com.study.dao.AccountInfoDao;
    import com.study.entity.AccountInfoEntity;
    import com.study.service.AccountInfoService;
    import lombok.extern.slf4j.Slf4j;
    import org.dromara.hmily.annotation.Hmily;
    import org.dromara.hmily.core.concurrent.threadlocal.HmilyTransactionContextLocal;
    import org.springframework.beans.factory.annotation.Autowired;
    import org.springframework.stereotype.Service;
    import org.springframework.transaction.annotation.Transactional;
    import org.springframework.web.client.RestTemplate;
    
    /** * @Author: zj * @Date: 2020/12/9 0009 下午 15:43 * @Version: 1.0 */
    @Service
    @Transactional
    @Slf4j
    public class AccountInfoBiz { 
    
        @Autowired
        private AccountInfoDao accountInfoDao;
    
        @Autowired
        private AccountInfoService accountInfoService;
    
        // 账户扣款，就是tcc的try方法
        /** * try幂等校验 * try悬挂处理 * 检查余额是够扣减金额 * 扣减金额 * @param amount */
        //只要标记@Hmily就是try方法，在注解中指定confirm、cancel两个方法的名字
        @Transactional
        @Hmily(confirmMethod="commit",cancelMethod="rollback")
        public void updateAccountBalance(String accountNo, Double amount) { 
            //获取全局事务id
            String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
            log.info("bank1 try begin 开始执行...xid:{}",transId);
            System.out.println("=======transId====="+transId);
            //幂等判断 判断local_try_log表中是否有try日志记录，如果有则不再执行
            if(accountInfoDao.isExistTry(transId)>0){ 
                log.info("bank1 try 已经执行，无需重复执行,xid:{}",transId);
                return ;
            }
    
            //try悬挂处理，如果cancel、confirm有一个已经执行了，try不再执行
            if(accountInfoDao.isExistConfirm(transId)>0 || accountInfoDao.isExistCancel(transId)>0){ 
                log.info("bank1 try悬挂处理 cancel或confirm已经执行，不允许执行try,xid:{}",transId);
                return ;
            }
    
            //扣减金额
            if(accountInfoDao.subtractAccountBalance(accountNo, amount)<=0){ 
                //扣减失败
                throw new RuntimeException("bank1 try 扣减金额失败,xid:{}"+transId);
            }
    
            //插入try执行记录,用于幂等判断
            accountInfoDao.addTry(transId);
    
            //远程调用李四，转账
            if(!accountInfoService.transfer(accountNo,amount)){ 
                throw new RuntimeException("bank1 远程调用李四微服务失败,xid:{}"+transId);
            }
            if(amount == 2){ 
                throw new RuntimeException("人为制造异常,xid:{}"+transId);
            }
            log.info("bank1 try end 结束执行...xid:{}",transId);
    
        }
    
        //confirm方法
        @Transactional
        public void commit(String accountNo, Double amount){ 
            //获取全局事务id
            String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
            log.info("bank1 confirm begin 开始执行...xid:{},accountNo:{},amount:{}",transId,accountNo,amount);
        }
    
        /** cancel方法 * cancel幂等校验 * cancel空回滚处理 * 增加可用余额 * @param accountNo * @param amount */
        @Transactional
        public void rollback(String accountNo, Double amount){ 
            //获取全局事务id
            String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
            log.info("bank1 cancel begin 开始执行...xid:{}",transId);
            // cancel幂等校验
            if(accountInfoDao.isExistCancel(transId)>0){ 
                log.info("bank1 cancel 已经执行，无需重复执行,xid:{}",transId);
                return ;
            }
            //cancel空回滚处理，如果try没有执行，cancel不允许执行
            if(accountInfoDao.isExistTry(transId)<=0){ 
                log.info("bank1 空回滚处理，try没有执行，不允许cancel执行,xid:{}",transId);
                return ;
            }
            // 增加可用余额
            accountInfoDao.addAccountBalance(accountNo,amount);
            //插入一条cancel的执行记录
            accountInfoDao.addCancel(transId);
            log.info("bank1 cancel end 结束执行...xid:{}",transId);
    
        }
    }

再使用Hmily注解的时候，我们需要去了解一下，

@Hmily(confirmMethod="commit",cancelMethod="rollback")

@Hmily 注解, 现在需要进行变更，在rpc接口方法上是添加 @Hmily,用来标识这是一个hmily分布式事务的接口方法， 在接口的方法实现上则需要添加 @HmilyTCC，然后指定 confirm 与 cancel方法名称.

bank2 服务service对应 的方法：

package com.bank.biz;
    
    
    import com.bank.dao.AccountInfoDao;
    import com.bank.entity.AccountInfoEntity;
    import lombok.extern.slf4j.Slf4j;
    import org.dromara.hmily.annotation.Hmily;
    import org.dromara.hmily.core.concurrent.threadlocal.HmilyTransactionContextLocal;
    import org.springframework.beans.factory.annotation.Autowired;
    import org.springframework.stereotype.Service;
    import org.springframework.transaction.annotation.Transactional;
    
    /** * @Author: zj * @Date: 2020/12/9 0009 下午 15:43 * @Version: 1.0 */
    @Service
    @Transactional
    @Slf4j
    public class AccountInfoBiz { 
    
        @Autowired
        private AccountInfoDao accountInfoDao;
    
        /** * 保存记录 * @param accountInfoEntity Order * @return */
        public AccountInfoEntity create(AccountInfoEntity accountInfoEntity) { 
            int count = accountInfoDao.insertSelective(accountInfoEntity);
            return count > 0 ? accountInfoEntity : null;
        }
    
        @Hmily(confirmMethod="confirmMethod", cancelMethod="cancelMethod")
        public void updateAccountBalance(String s, Double amount) { 
            //获取全局事务id
            String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
            log.info("bank2 try begin 开始执行...xid:{}",transId);
        }
    
    
        /** * confirm方法 * confirm幂等校验 * 正式增加金额 * @param accountNo * @param amount */
        @Transactional
        public void confirmMethod(String accountNo, Double amount){ 
            //获取全局事务id
            String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
            log.info("bank2 confirm begin 开始执行...xid:{}",transId);
            if(accountInfoDao.isExistConfirm(transId)>0){ 
                log.info("bank2 confirm 已经执行，无需重复执行...xid:{}",transId);
                return ;
            }
            //增加金额
            accountInfoDao.addAccountBalance(accountNo,amount);
            //增加一条confirm日志，用于幂等
            accountInfoDao.addConfirm(transId);
            log.info("bank2 confirm end 结束执行...xid:{}",transId);
        }
    
        /** * @param accountNo * @param amount */
        public void cancelMethod(String accountNo, Double amount){ 
            //获取全局事务id
            String transId = HmilyTransactionContextLocal.getInstance().get().getTransId();
            log.info("bank2 cancel begin 开始执行...xid:{}",transId);
    
        }
    }

寻坑地方：  
![在这里插入图片描述][2020121315594523.png]  
这里我们需要调用bank2的client方法，所有我们需要再bank1服务中设定一bank2的client

package com.study.service;
    
    import com.study.hystrix.AccountInfoHystrix;
    import org.dromara.hmily.annotation.Hmily;
    import org.springframework.cloud.openfeign.FeignClient;
    import org.springframework.web.bind.annotation.GetMapping;
    import org.springframework.web.bind.annotation.RequestParam;
    
    @FeignClient(name = "study-bank2", fallbackFactory = AccountInfoHystrix.class)
    public interface AccountInfoService { 
    
        @GetMapping("/bank2/transfer")
        @Hmily
        public  Boolean transfer(@RequestParam("accountNo") String accountNo, @RequestParam("amount") Double amount);
    }

上诉代码需要再bank1中client设定；  
这里还有一个坑：  
![在这里插入图片描述][20201213160300501.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 5]  
服务发现的名字需要跟bank2的服务器的名字要一样，不然无法获取接口信息；

**测试结果**：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 6]  
**调用接口**：http://localhost:9503/bank1/transfer?cardNumber=1&money=10  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 7]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 9]  
这里可以看到这里被调用了四次，产生了4笔交易，hmil log会记录操作事务的日志，  
掉单的数据如何处理：  
这时候我们需要去查看：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 10]  
我们之前建立的Hmily日志库，这里存放这，我们掉单的记录，这些记录都需要人工去处理；

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70]: /images/20221120/8504f415e6474a5e913de5f228dffe6c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 1]: /images/20221120/f4a3c8970a7a448fbce157ac0cb18c33.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 2]: /images/20221120/7aa47bda945f448c9b8c557a537c7eee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 3]: /images/20221120/89f9ac86355642e3982ffdaa8b445a96.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 4]: /images/20221120/bce778d649e1488b8aea038ed1581585.png
[2020121315594523.png]: /images/20221120/399e9037dc99416ea290e02829e54785.png
[20201213160300501.png]: /images/20221120/03e1d0fea0ed43d886f9e30a617af2e2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 5]: /images/20221120/9660cd3898bb4e038038a5d000be800a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 6]: /images/20221120/93a6d62e6eae47c9afc8a12aa012bc18.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 7]: /images/20221120/51248a63001c4a199c713fcf3dbad039.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 8]: /images/20221120/50c7d8b8fff74f0a85457a6c375bb763.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 9]: /images/20221120/1c654d4221fa4b66bebf96fe593c8c41.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pveV90b20_size_16_color_FFFFFF_t_70 10]: /images/20221120/697d80f9468d42b48480e45a487f8caa.png