基于极数云舟Arkgate跨云数据库异地双活实战

旧城等待， 2022-04-05 12:56 274阅读 0赞

业务背景

随着O2O消费深入人心，我们公司的业务也迅速发展，目前已经服务了全国大部分城市里面的近2000万个家庭，家庭服务已经成为解决社会劳动力的一个重要渠道，也是方便千家万户的一项利国利民的大好事。在不断发展的过程中，公司对业务服务质量，以及数据安全，数据库可用都非常重视，这是我们的核心资产。

我们大量使用了公有云服务，这也包括公有云上的数据库服务，最近由于公司全国性发展的需要，同时也考虑到数据库在公有云的安全性，我们开始探索云时代下的数据库跨云备份，异地跨云备份和跨云多活等等数据库创新性的解决方案。

经过我们多方沟通并积极测试，在否决了很多供应商提供的方案之后，最终测试通过了极数云舟这家极具互联网技术基因的公司所提供的基于其自主研发的Arkgate的跨云数据库异地双活方案，此方案可以完全匹配我们的需求，实现了我们跨云双活的目标。

下面是异构同步的架构图和基于Arkgate的多活方案：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1][]

（图：异构数据同步架构）

![20181212164359530.gif][]

(图: 基于Arkgate多活方案的架构图)

从极数云舟的官网和他们公司提供的产品白皮书了解到，Arkgate是通过实时监控源端数据库的数据变化，把增量数据库以准实时的方式并发同步到目的端的，他们用多线程多通道的方式解决了同步效率，同时也在内部解决了数据的完整性和一致性问题，以及双活领域最难处理的数据回环问题，是我们所能看到的业务最好的异地双活方案了。

除此以外，核心组件Arkgate会把复制过程中的相关状态存储在information schema的表里面，可以查看相关表获得相应信息，实现状态监控和报警，方便统计和运维管理，这也是我们非常关注的内容。

测试环境说明

测试环境

软件环境

MySQL数据库RDS

server version: 5.6.16-log source distribution

**Arkgate**

arkgate\_plugin\_version -18.06.28

**自建MySQL**

server version: 5.6.16-log source distribution

sysbench

sysbench-version-0.5

软件环境

服务器

分类

实例

规格

CPU

内存

磁盘

地域

独享型

RDS

rds.mysql.c1.xlarge

8核

32G

500G

华北二c（北京）

本地SSD

ecs.i1.2xlarge

8核

32G

400G

华北二e（北京）

本地

SSD

ecs.i1.2xlarge

8核

32G

400G

华北二e（北京）

本地

SSD

ecs.i1.2xlarge

8核

32G

400G

华东2 可用区b

本地

SSD

ecs.i1.2xlarge

8核

32G

400G

华东2 可用区b

本地

SSD

ecs.i1.2xlarge

8核

32G

400G

华东2 可用区b

本地SSD

ecs.i1.2xlarge

8核

32G

400G

华东2 可用区b

测试内容

*  相关的数据库操作双向同步功能测试
 *  在数据库性能测试工具sysbench的 insert.lua模块下，分别使用4、8、16、32线程并发下，对数据库插入100万行数据，测试 gate 获取源库binlog 是否有延迟
 *  在数据库性能测试工具sysbench的 oltp.lua模块下，分别使用4、8、16、32线程并发下，对数据库事物性操作，测试 gate 获取源库binlog的是否有延迟
 *  adapter使用4、8、16、32线程并发下写入目标端数据库效率
 *  在数据库性能测试工具sysbench的 insert.lua模块下测试，数据从北京rds 同步到上海的自建 mysql 是否有延迟，数据源使用4、8、16、32线程对数据库插入100万行数据，比较源库插入、gate获取binlog、目标数据库写入是否有延迟以及各个模块的QPS大小
 *  选择合适线上数据库进行数据同步测试，查看目标端和源库数据是否有延迟

测试要点

三重高可用

第一重：MySQL集群高可用（略）

第二重：gate HA测试

数据源：北京RDS 数据库

目标库：上海自建MySQL

zk管理的哨兵模式下 Arkgate链路：

（1）10-00-225-186（主）

（2）10-00-225-187（备）

**操作步骤：**

1、\#225-186

set arkgate\_replication\_stop='arkgate\_test';

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 1][]

2、\#数据源 insert into t1 values(1);

select   \*  from t1;

\+----+

|   id |

\+----+

|  1 |

\+----+

rm-\*.mysql.rds.aliyuncs.com:3306:root:data\_test>create   table t3(id int primary key auto\_increment,name varchar(20));

query   ok, 0 rows affected (0.00 sec)

rm-\*.mysql.rds.aliyuncs.com:3306:root:data\_test>alter   table t3 add address varchar(30) not null default '' comment '地址';

query   ok, 0 rows affected (0.00 sec)

records:   0  duplicates: 0  warnings: 0

3、目标库

mysql>   select \*  from t1;

\+----+

|   id |

\+----+

|   1  |

\+----+

mysql>   show tables;

\+---------------------+

|   tables\_in\_data\_test |

\+---------------------+

|   employees           |

|   t1                  |

|   t2                  |

|   t3                  |

\+---------------------+

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 2][]

**结论：**

哨兵会切换到10-00-225-187   Arkgate 上继续同步

第三重：adapter HA测试

数据源：北京RDS 数据库

目标库：上海自建MySQL

zk 管理的哨兵模式下 adapter链路：

（1）10-00-225-186（主）

（2）10-00-225-187（从）

**操作步骤：**

kill 10-00-225-186 adapter 进程

**结论：**

哨兵会按照zk中的adapter 资源池的中的先后顺序拉起对应的adapter 进程，同步继续

pt-online-osc测试

加字段、加索引

**命令：**pt-online-schema-change  --no-version-check -uroot -pxxxx -h   rm-\*.mysql.rds.aliyuncs.com --alter="add key   idx\_name(name),add tele int not null default '110'"  --execute d=data\_test,t=t3   --max-load=threads\_connected:850 --critical-load=threads\_running=550   --charset=utf8    --nocheck-replication-filters --set-vars   innodb\_lock\_wait\_timeout=30000    --recursion-method=none --nodrop-old-table

\#目标库

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 3][]

**结论：**功能正常

变更字段

**命令：**pt-online-schema-change  --no-version-check -uroot -pxxx123   -h rm-\*.mysql.rds.aliyuncs.com --alter="modify tele bigint  not null default '110'"  --execute d=data\_test,t=t3 --max-load=threads\_connected:850 \\

\--critical-load=threads\_running=550 --charset=utf8  --nocheck-replication-filters --set-vars   innodb\_lock\_wait\_timeout=30000    --recursion-method=none --nodrop-old-table

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 4][]

**结论：**功能正常

清理数据

命令：

pt-archiver   --source h=rm\*.mysql.rds.aliyuncs.com,d=data\_test,p=3306,t=t1   --user=root --password=xxxxx --dest   h=rm-\*.mysql.rds.aliyuncs.com,p=3306,d=data\_test,t=t1\_tmp   --where "id < 10"   -a   utf8mb4 --limit 10000 --txn-size 10000    --no-version-check --statistics --progress=500000 --run-time 1h  --nosafe-auto-increment

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 5][]

\#目标库

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 6][]

**结论：** 功能正常

性能压测

数据准备

**命令：**/opt/sysbench/sysbench/sysbench --mysql-host=rm-\*.mysql.rds.aliyuncs.com --mysql-port=3306 --mysql-user=root --mysql-password=xxxx --mysql-db=sbtest --oltp-tables-count=10 --oltp-table-size=50000 --num-threads=10 --max-requests=500000 --report-interval=60 \\

\--test=/opt/sysbench/sysbench/tests/db/oltp.lua prepare

单测 gate 从数据源获取binlog

是否有延迟

模型：insert.lua

华北2：insert 4线程、gate 16线程

**命令：**/opt/sysbench/sysbench/sysbench \\

\--mysql-host=rm-\*.mysql.rds.aliyuncs.com --mysql-port=3306 --mysql-user=root --mysql-password=xxxx --mysql-db=sbtest --oltp-tables-count=10 --oltp-table-size=100000 --num-threads=4 --max-requests=1000000 --report-interval=60 \\

--test=/opt/sysbench/sysbench/tests/db/insert.lua run

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 7][]

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 8][]

注：横轴1/2/3/4 分别代表数据源4/8/16/32线程写入数据

**结论：**基本没有延迟

测试gate从数据源获取binlog

是否有延迟

模型：oltp.lua

华北2：oltp 4/8/16/32线程、gate 16线程

**命令：**/opt/sysbench/sysbench/sysbench --mysql-host=rm-\*.mysql.rds.aliyuncs.com --mysql-port=3306 --mysql-user=root --mysql-password=xxxx --mysql-db=sbtest --oltp-tables-count=10 --oltp-table-size=100000 --num-threads=4/8/16/32 --max-requests=1000000 --report-interval=60 --test=/opt/sysbench/sysbench/tests/db/oltp.lua run

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 9][]

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 10][]

**结论：**无延迟

单测 adapter将datacenter 中的数据发

送到目标端的qps

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 11][]

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 12][]

注：横轴1/2/3/4分别代表adapter 的线程数4/8/16/32

insert.lua 模块下，数据从源端4线程并发请求合计

1000000次请求，gate 16  线程获取binlog；

adapter 8线程分发到目标端传输是否有延迟

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 13][]

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 14][]

测试结果

*  可以看出 数据传输在oltp.insert/oltp.lua 模型下，数据传输效率瓶颈在adapter 模块和网络传输上（北京到上海）
 *  在oltp 下，gate 的在正常业务（并发32 线程以下）获取binlog 无延迟，但是在 短时表copy 类型的ddl 操作肯定会造成延迟，是否过滤ddl 可以配置
 *  对于源端数据变更小的数据库实例可以进行合并部署同步链路到同一台Arkgate 主机

线上业务测试

**数据库归属业务**

速运

**数据库实例**

rm-2ze0evpaj530h2

数据库配置

8c/32g/1000g

**选择理由**

此实例每天max qps  和avg qps 都位列到家所有数据库的前1/3，并且数据变更频率（写压力）在所有实例中排名前3，白天写峰值达到每秒2k+，此实例数据同步测试结果对其他数据库实例的数据同步有较好的参考价值

**数据同步方向**

北京 --> 上海

**网络环境**

50mb 延迟 25ms左右

配置同步链路

**登录源实例给获取binlog 用户授权**

grant select,replication client,replication slave on \*.\* to 'arkgate'@'%' identified by 'arkgate\_test' ;

**配资gate 信息**

set global arkgate\_create\_datacenter="arkgate\_52";

set global arkgate\_replication\_source ="arkgate\_52:2";

set global arkgate\_json\_full\_image="arkgate\_52:1";

set arkgate\_parallel\_workers="arkgate\_52:1";

set arkgate\_binlog\_expire\_hours="arkgate\_52:24";

set arkgate\_replication\_table\_filter="arkgate\_52:add:ignore:mysql:ha\_health\_check";

set global arkgate\_replication\_member = "arkgate\_52:master:suyun\_52:rm-\*.mysql.rds.aliyuncs.com:3306";

**启动gate**

set global arkgate\_replication\_start = "arkgate\_52:arkgate:arkgate\_test";

**停止gate**

set arkgate\_replication\_stop='arkgate\_52';

**配置adapter 信息**

insert into task\_info values (2,'arkgate\_52','10.00.225.187',3307,'arkgate\_52','test\_adapter','test\_adapter','10.00.23.3',3307,'test\_adapter','

'test\_adapter',1,8,4000,8000,3,3,'mysql\_adapter.log',1,0,'',1,1,1,,);

**启动adapter**

/data/ark/to\_tidb2/bin/to\_mysql -dc\_ip 10.00.225.187 -dc\_port 3307 -task\_name arkgate\_52 -dc\_pass test\_adapter -dc\_user test\_adapter

同步测试

**gate、 datacenter、adapter 都部署在北京**

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 15][]

gate 线程数1，adapter 线程数8，adapter 单次读取binlog量4000行

datacenter qps（gate获取binlog）

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 16][]

目标库 qps（adapter 分发sql）

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 17][]

结果：延迟10minute +

**gate、 datacenter、adapter都部署在上海**

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 18][]

gate 线程数1，adapter 线程数8，adapter 单次读取binlog量4000行

datacenterqps（gate获取binlog）

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 19][]

binlog获取结束时间

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 20][]

目标库 qps（adapter 分发效率）

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 21][]

adapter分发完成时间

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 22][]

结果：无延迟

gate 线程数1、 datacenter部署在北京 adapter 线程数24 部署到上海

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 23][]

同步延迟4minutes

datacenterqps（gate获取binlog）

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 24][]

binlog获取完成时间

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 25][]

gate配置

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 26][]

目标库 qps（adapter分发sql 24线程）

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 27][]

adapter分发完成时间

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 28][]

有延迟日志

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 29][]

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 30][]

gate和datacenter 部署在同地域并且gate 单线程获取数据源binlog 无延迟，主要延迟就发生adapter 模块部署地域和配置，因此，将gate 、datacenter 部署在北京地区，adapter 分别按下表部署和配置进行数据同步测试：

<table style="width:677px;"> 
 <tbody> 
 <tr> 
 <td colspan="5" style="vertical-align:top;"> 数据同步测试时间&nbsp;5 分钟 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 序号 </td> 
 <td style="vertical-align:top;"> adapter &nbsp;归属地 </td> 
 <td style="vertical-align:top;"> adapter每次读量 </td> 
 <td style="vertical-align:top;"> adapter线程数 </td> 
 <td style="vertical-align:top;"> 延迟/min </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 1 </td> 
 <td style="vertical-align:top;"> 北京 </td> 
 <td style="vertical-align:top;"> 4000 </td> 
 <td style="vertical-align:top;"> 8 </td> 
 <td style="vertical-align:top;"> 10 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 2 </td> 
 <td style="vertical-align:top;"> 北京 </td> 
 <td style="vertical-align:top;"> 4000 </td> 
 <td style="vertical-align:top;"> 24 </td> 
 <td style="vertical-align:top;"> 4 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 3 </td> 
 <td style="vertical-align:top;"> 北京 </td> 
 <td style="vertical-align:top;"> 4000 </td> 
 <td style="vertical-align:top;"> 64 </td> 
 <td style="vertical-align:top;"> 0 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 4 </td> 
 <td style="vertical-align:top;"> 上海 </td> 
 <td style="vertical-align:top;"> 1000 </td> 
 <td style="vertical-align:top;"> 24 </td> 
 <td style="vertical-align:top;"> 1 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 5 </td> 
 <td style="vertical-align:top;"> 上海 </td> 
 <td style="vertical-align:top;"> 4000 </td> 
 <td style="vertical-align:top;"> 24 </td> 
 <td style="vertical-align:top;"> 3 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;"> 6 </td> 
 <td style="vertical-align:top;"> 上海 </td> 
 <td style="vertical-align:top;"> 10000 </td> 
 <td style="vertical-align:top;"> 24 </td> 
 <td style="vertical-align:top;"> 6 </td> 
 </tr> 
 </tbody> 
</table>

测试结果

*  将Arkgate 的gate 和datacenter 部署在同地域，adapter 部署在源数据库地区，写目标端数据库延迟被放大，但是可以通过增加adapter 工作线程解决，但是过多的线程会占用目标端数据库链接数
 *  将Arkgate 的gate 和datacenter 部署在同地域，adapter 部署在目标端数据库地区，读源端数据库操作延迟被放大（单次读1000行 耗时0.74s，单次读10000耗时12.63s），但是可以通过减少adapter单次读取的量来解决
 *  将Arkgate 的 gate、datacenter、adapter 都部署在目标端数据库地区，既可以方便管理链路各个模块，也可以顺利解决adapter分发延迟问题

测试总结

*  Arkgate 实时异构数据同步系统在功能和性能上可以满足公司当前的数据库北京到上海数据同步需求，为了将数据同步延迟降到最低，并且方便管理数据同步工具，建议如下部署gate、datacenter、adapter，并且将adapter 的工作线程按需调整，比如：
    
     *  北京 --> 上海，gate、datacenter、adapter 都布署在上海，单独部署一套哨兵进行同步链路的故障转移操作
     *  上海 --> 北京，gate、datacenter、adapter 都布署在北京，单独部署一套哨兵进行同步链路的故障转移操作
 *  Arkgate 数据同步工具目前欠缺的就是web 页面的控制台；
 *  datacenter的HA可以用常用的MySQL高可用解决方案解决，也可以用极数云舟提供的ArkDB一体化MySQL高可用方案。

***公司简介***

**北京极数云舟科技有限公司（简称: 极数云舟）**注册于2017年1月，创始团队是由长期工作在一线互联网公司数据库相关领域的顶尖技术专家组成，凭借在数据库方面多年的运维管理与内核源码研究经验，提供针对MySQL、Redis、HBase等开源数据库系列的全套云平台解决方案，在企业自建数据库私有云，混合公有云，跨云数据库备份，异地双活，数据库安全防护，数据库一体机等等领域提供成熟解决方案。

极数云舟提供的主要产品包括：ArkControl（数据库云管平台），Arkit（自动审核和执行系统）、Arkproxy（中间件）、Arkgate（实时异构同步系统）等系列产品。

## 联系我们：  ##

电话： 010-62984800

官网：http://cloud-ark.com

邮箱： marketing@cloud-ark.com

地址：北京市海淀区上地东路35号院 颐泉汇2号楼303

参考文献：

[https://mp.weixin.qq.com/s/c3gaz5G5\_6E\_blEXjMwxyg][https_mp.weixin.qq.com_s_c3gaz5G5_6E_blEXjMwxyg]

[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1]: /images/20220405/e0f639ac2feb465daa1cf29198892a8b.png
[20181212164359530.gif]: /images/20220405/64e27903547b4e12aba1865c7de21946.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 1]: /images/20220405/659ed1b7d7e64849bfc8e6061c344b66.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 2]: /images/20220405/872856386e574415b6e83be5a4253003.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 3]: /images/20220405/25a62f72f35f4d31a7a3ed43385488be.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 4]: /images/20220405/07a98da6194240b38dc76a8d37f8952b.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 5]: /images/20220405/c4132f6179ef48bd8be32c2adecc57ce.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 6]: /images/20220405/d10e170459434954915e9ca91c5bd3cc.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 7]: /images/20220405/e7995ac7883549ddab61c72e90f8a419.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 8]: /images/20220405/7b9f54589b894475a37408b5eb141443.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 9]: /images/20220405/0f3277f5221d42b5bf85c90b9d43b8c9.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 10]: /images/20220405/dc562a0df54f4102b4e974ed786fdba2.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 11]: /images/20220405/bbbf2169cbdd4af99935ac8b5b65784d.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 12]: /images/20220405/c6808e97998a49109c5635b27a8c1e29.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 13]: /images/20220405/3b707f60f993428cae873868bccba6de.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 14]: /images/20220405/df8ff0062da44bbc97b7b5a6b9789db6.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 15]: /images/20220405/65ad819a1c454b63a5e0032b31ab2efb.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 16]: /images/20220405/1addafb29956446abc64e4485c27c2a4.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 17]: /images/20220405/fe438be3c60047a484ab9f1ea35bcfdb.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 18]: /images/20220405/ac1049617ae848b19c109aea45a16df6.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 19]: /images/20220405/a8e062ca42c1462885d3d946dacf7e4e.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 20]: /images/20220405/a84f18e5ea8e467ca27299979125c768.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 21]: /images/20220405/9dfe6b47b92b43c5801acff387e18adf.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 22]: /images/20220405/53e85c250b9f4c8e98a844ab4b9a90ae.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 23]: /images/20220405/d256c3f6ee1b483291b39f05f0b4330f.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 24]: /images/20220405/ecb7be873ba742a2a54fdb31285a54ca.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 25]: /images/20220405/17f4459ab4604ee89a0bf13dc1a0422e.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 26]: /images/20220405/c38e64a0ec274df0b2fdf435590e2cd6.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 27]: /images/20220405/0dc165fb597347b484b070dd219f7215.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 28]: /images/20220405/1af4259cded544b2a802984a34e40925.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 29]: /images/20220405/a37acf2019c4434da67c004ebba7240c.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 30]: /images/20220405/bd73f98afb51402882511c6ca034f706.png
[https_mp.weixin.qq.com_s_c3gaz5G5_6E_blEXjMwxyg]: https://mp.weixin.qq.com/s/c3gaz5G5_6E_blEXjMwxyg