MySQL高可用集群搭建 ----- MHA

浅浅的花香味﹌ 2024-04-19 08:03 97阅读 0赞

# 一、何为高可用？ #

高可用性说白了就是**应用**可以 **持续不间断** 的 **提供服务**的能力！

**注：**  
高可用和负载均衡的概念有些初学者可能会混淆，在这也说说负载均衡：

**负载均衡**：指后端服务器没有状态，可以任意分配，它们之间是**同时工作**的，能够通过增加机器**增加吞吐量、减小服务器压力**。

**高可用**：指后端服务器有状态，一般来说是一主一备的结构，它们之间是**一个工作**而**另一个不工作**，**在主服务器出故障后，备服务器去接管服务**，从而达到持续不间断的提供服务。

# 二、MHA介绍 #

MHA使用perl语言编写的一个脚本管理管理工具，用于维持master主库的高可用性。  
MHA包含两个部分：MHA Manager（管理节点）和MHA Node（数据节点）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70]  
**MHA原理：**

MHA用于维持 MySQL Replication 中 master 库的高可用性，最大的特点是可以修复多个slave上的差异日志，最终使所有slave保持数据一致，然后从中选取一个充当新的 master，并让其他 slave 指向它。

当master出现故障时，通过对比 slave 之间的 I/O thread 读取主库的 binlog 的 position 号，选取最接近的slave作为备胎（被选主库），其它从库通过与备胎对比，生成差异的中继日志，在备胎上运用从原来的 master 保存的 binlig，同时将备胎提升为master。最后在其他 slave 上运用相应的差异中继日志，并从新的 master 开始复制。

**优点：**

*  故障切换时，自动判断哪个从库与主库离的最近，并切换到上面
 *  支持binlog server，提高 binlog 的传送效率
 *  结合半同步功能，确保故障切换时数据不丢失

# 三、实验环境介绍 #

使用三台机器来完成本次MHA的搭建：

IP			主机名		系统版本		角色					 	节点
    172.25.5.1		lxn1		RHEL7		master node				node1
    
    172.25.5.3      lxn3		RHEL7		slave1 node				node2
    172.25.5.4      lxn4		RHEL7		slave2 node+manager		node3

# 四、MHA搭建 #

MHA下载：

https://github.com/yoshinorim/mha4mysql-manager  
https://github.com/yoshinorim/mha4mysql-node

wget https://github.com/yoshinorim/mha4mysql-manager/releases/download/v0.58/mha4mysql-manager-0.58.tar.gz
    wget https://github.com/yoshinorim/mha4mysql-node/releases/download/v0.58/mha4mysql-node-0.58.tar.gz

## 1、配置三台机器免密通信 ##

**所有节点**都执行生成密钥操作

cd /root/.ssh/
    ssh-keygen -t dsa -P '' -f id_dsa
    cat id_dsa.pub >> authorized_keys

*  以主库示例，所有节点都要操作  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 1]

**在主库**上接收slave上的密钥

scp 172.25.5.3:/root/.ssh/authorized_keys ./authorized_keys.3
    scp 172.25.5.4:/root/.ssh/authorized_keys ./authorized_keys.4

**在主库**上执行合并密钥的命令

cat authorized_keys.3 >> authorized_keys
    cat authorized_keys.4 >> authorized_keys

**在主库**上将合并后的密钥文件发给其他节点

scp authorized_keys 172.25.5.3:/root/.ssh/
    scp authorized_keys 172.25.5.4:/root/.ssh/

*  完整命令截图（进供参考）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 2]

**所有节点**在/etc/hosts文件中写入本地解析：

172.25.5.1      lxn1 node1
    172.25.5.3      lxn3 node2
    172.25.5.4      lxn4 node3

## 测试 ##

能够互相ssh且不要密码，即成功！

示例：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 3]

## 2、搭建主从环境 ##

环境说明

本次实验搭建的是一主两从环境，使用的MySQL5.7版本，基于GTID+row模式

在所有服务器MySQL上执行以下操作

#创建主从复制帐号
    create user 'gtid'@'172.25.5.%' identified by 'gtid123';
    grant replication slave on *.* to 'gtid'@'172.25.5.%';
    flush privileges;
    #创建管理帐号
    create user 'manage'@'172.25.5.%' identified by 'manage123';
    grant all privileges on *.* to 'manage'@'172.25.5.%';
    flush privileges;

在主库上复制数据到所有从库，完成在某个时刻GTID的同步

mysqldump --single-transaction -uroot -p -A > all.sql
    scp all.sql node2:/root/
    scp all.sql node3:/root/

![在这里插入图片描述][20190915172455791.png]

在各从库上恢复备份并配置主从复制，开启主从同步

mysql -uroot -p < all.sql
    mysql -uroot -p

root@localhost [(none)]>change master to
        -> master_host='172.25.5.1',
        -> master_user='gtid',
        -> master_password='gtid123',
        -> master_auto_position=1;
        
    root@localhost [(none)]>start slave;
    
    root@localhost [(none)]>show slave status\G

*  注：  
    Slave\_IO\_Running: Yes  
    Slave\_SQL\_Running: Yes  
    为主从搭建成功！

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 4]

## 3、安装MHA-Node节点 ##

在所有节点上安装数据节点

首先安装 MySQL 依赖的 perl 环境

yum install perl-DBD-MySQL.x86_64 -y

解压 mha4mysql-node 包，并安装 perl-cpan

tar -zxf mha4mysql-node-0.58.tar.gz 
    cd mha4mysql-node-0.58/
    yum install perl-CPAN* -y
    perl Makefile.PL
    make && make install

## 4、安装配置 MHA-Manager 管理节点 ##

以下操作都是在node3（172.25.5.4）上完成的

安装环境需要的介质包：

*  注意：我的操作系统是rhel7，下载软件时注意软件版本问题

yum install perl-DBD-MySQL*
    
    wget ftp://ftp.pbone.net/mirror/ftp5.gwdg.de/pub/opensuse/repositories/home:/matthewdva:/build:/RedHat:/RHEL-7/complete/x86_64/perl-Params-Validate-1.08-4.el7.x86_64.rpm
    rpm -ivh perl-Params-Validate-1.08-4.el7.x86_64.rpm 
    
    wget ftp://ftp.pbone.net/mirror/ftp5.gwdg.de/pub/opensuse/repositories/home:/csbuild:/Perl/RHEL_7/noarch/perl-Config-Tiny-2.20-1.2.noarch.rpm
    rpm -ivh perl-Config-Tiny-2.20-1.2.noarch.rpm
    
    wget ftp://ftp.pbone.net/mirror/ftp5.gwdg.de/pub/opensuse/repositories/home:/csbuild:/Perl/RHEL_7/noarch/perl-Log-Dispatch-2.41-2.2.noarch.rpm
    rpm -ivh perl-Log-Dispatch-2.41-2.2.noarch.rpm
    
    wget ftp://ftp.pbone.net/mirror/download.fedora.redhat.com/pub/fedora/epel/7/aarch64/Packages/p/perl-Parallel-ForkManager-1.18-2.el7.noarch.rpm
    rpm -ivh perl-Parallel-ForkManager-1.18-2.el7.noarch.rpm

安装管理节点

tar -zxf mha4mysql-manager-0.58.tar.gz
    cd mha4mysql-manager-0.58
    perl Makefile.PL
    make && make install

配置MHA

mkdir /etc/mha
    mkdir -p /usr/local/mha
    cd /etc/mha/
    vim mha.conf
    #####################################################写入配置
    [server default]
    user=manage
    password=manage123
    manager_log=/usr/local/mha/manager.log
    manager_workdir=/usr/local/mha
    master_binlog_dir=/mvtech/mysql/logs
    remote_workdir=/usr/local/mha
    ssh_user=root
    repl_user=gtid
    repl_password=gtid123
    master_ip_failover_script=/usr/local/scripts/master_ip_failover
    master_ip_online_change_script=/usr/local/scripts/master_ip_online_change
    ping_interval=1
    
    [server1]
    hostname=172.25.5.1
    ssh_port=22
    master_binlog_dir=/data/mysql
    candidate_master=1
    port=3306
    
    [server2]
    candidate_master=1
    hostname=172.25.5.3
    ssh_port=22
    master_binlog_dir=/data/mysql
    port=3306
    
    [server3]
    hostname=172.25.5.4
    ssh_port=22
    master_binlog_dir=/data/mysql
    no_master=1
    port=3306
    ####################################################

编辑 failover 切换脚本

mkdir /usr/local/mha/scripts
    cd /usr/local/mha/scripts
    vim master_ip_failover
    #脚本内部的VIP和网卡需要根据自己的实际要求更改
    ###############################################写入
    #!/usr/bin/env perl  
    use strict;  
    use warnings FATAL =>'all';  
    
    use Getopt::Long;  
    
    my (  
    $command,          $ssh_user,        $orig_master_host, $orig_master_ip,  
    $orig_master_port, $new_master_host, $new_master_ip,    $new_master_port  
    );  
    
    my $vip = '172.25.5.100/24';  # Virtual IP 这里需要根据自己的环境修改
    my $key = "1";  
    my $ssh_start_vip = "/sbin/ifconfig ens39:$key $vip";	#注意网卡  
    my $ssh_stop_vip = "/sbin/ifconfig ens39:$key down";  
    my $exit_code = 0;  
    
    GetOptions(  
    'command=s'          => \$command,  
    'ssh_user=s'         => \$ssh_user,  
    'orig_master_host=s' => \$orig_master_host,  
    'orig_master_ip=s'   => \$orig_master_ip,  
    'orig_master_port=i' => \$orig_master_port,  
    'new_master_host=s'  => \$new_master_host,  
    'new_master_ip=s'    => \$new_master_ip,  
    'new_master_port=i'  => \$new_master_port,  
    );  
    
    exit &main();  
    
    sub main {  
    
    #print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";  
    
    if ( $command eq "stop" || $command eq "stopssh" ) {  
    
            # $orig_master_host, $orig_master_ip, $orig_master_port are passed.  
            # If you manage master ip address at global catalog database,  
            # invalidate orig_master_ip here.  
            my $exit_code = 1;  
            eval {  
                print "\n\n\n***************************************************************\n";  
                print "Disabling the VIP - $vip on old master: $orig_master_host\n";  
                print "***************************************************************\n\n\n\n";  
    &stop_vip();  
                $exit_code = 0;  
            };  
            if ($@) {  
                warn "Got Error: $@\n";  
                exit $exit_code;  
            }  
            exit $exit_code;  
    }  
    elsif ( $command eq "start" ) {  
    
            # all arguments are passed.  
            # If you manage master ip address at global catalog database,  
            # activate new_master_ip here.  
            # You can also grant write access (create user, set read_only=0, etc) here.  
    my $exit_code = 10;  
            eval {  
                print "\n\n\n***************************************************************\n";  
                print "Enabling the VIP - $vip on new master: $new_master_host \n";  
                print "***************************************************************\n\n\n\n";  
    &start_vip();  
                $exit_code = 0;  
            };  
            if ($@) {  
                warn $@;  
                exit $exit_code;  
            }  
            exit $exit_code;  
    }  
    elsif ( $command eq "status" ) {  
            print "Checking the Status of the script.. OK \n";  
            `ssh $ssh_user\@$orig_master_host \" $ssh_start_vip \"`;  
            exit 0;  
    }  
    else {  
    &usage();  
            exit 1;  
    }  
    }  
    
    # A simple system call that enable the VIP on the new master  
    sub start_vip() {  
    `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;  
    }  
    # A simple system call that disable the VIP on the old_master  
    sub stop_vip() {  
    `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;  
    }  
    
    sub usage {  
    print  
    "Usage: master_ip_failover –command=start|stop|stopssh|status –orig_master_host=host –orig_master_ip=ip –orig_master_port=po  
    rt –new_master_host=host –new_master_ip=ip –new_master_port=port\n";  
    }
    ###############################################
    
    chmod +x master_ip_failover

编写 online\_change 脚本

vim master_ip_online_change
    
    #注意VIP
    ###############################################写入
    #/bin/bash  
    source /root/.bash_profile  
    
    vip=`echo '172.25.5.100/24'`  # Virtual IP  
    key=`echo '1'`  
    
    command=`echo "$1" | awk -F = '{print $2}'`  
    orig_master_host=`echo "$2" | awk -F = '{print $2}'`  
    new_master_host=`echo "$7" | awk -F = '{print $2}'`  
    orig_master_ssh_user=`echo "${12}" | awk -F = '{print $2}'`  
    new_master_ssh_user=`echo "${13}" | awk -F = '{print $2}'`  
    
    stop_vip=`echo "ssh root@$orig_master_host /sbin/ifconfig  eth0:$key  down"`  
    start_vip=`echo "ssh root@$new_master_host /sbin/ifconfig  eth0:$key  $vip"`  
    
    if [ $command = 'stop' ]  
       then  
       echo -e "\n\n\n***************************************************************\n"  
       echo -e "Disabling the VIP - $vip on old master: $orig_master_host\n"  
       $stop_vip  
       if [ $? -eq 0 ]  
          then  
          echo "Disabled the VIP successfully"  
       else  
          echo "Disabled the VIP failed"  
       fi  
       echo -e "***************************************************************\n\n\n\n"  
    fi  
    
    if [ $command = 'start' -o $command = 'status' ]  
       then  
       echo -e "\n\n\n***************************************************************\n"  
       echo -e "Enabling the VIP - $vip on new master: $new_master_host \n"  
       $start_vip  
       if [ $? -eq 0 ]  
          then  
          echo "Enabled the VIP successfully"  
       else  
          echo "Enabled the VIP failed"  
       fi  
       echo -e "***************************************************************\n\n\n\n"  
    fi
    #############################################
    
    chmod +x master_ip_online_change

检测所有主机的连通性：

/usr/local/bin/masterha_check_ssh --conf=/etc/mha/mha.conf

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 5]  
检测复制状态：

/usr/local/bin/masterha_check_repl --conf=/etc/mha/mha.conf

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 6]

*  注：这里容易报错，请仔细看报错，能解决

## 5、在主库上添加VIP ##

ip addr add 172.25.5.100/24 dev ens39

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 7]

## 6、在管理节点启动MHA服务 ##

启动MHA：

nohup masterha_manager --conf=/etc/mha/mha.conf > /tmp/mha_manager.log < /dev/null 2>&1 &

检测MHA是否启动：

masterha_check_status --conf=/etc/mha/mha.conf

![在这里插入图片描述][20190916202556763.png]

# 五、模拟主库故障，故障切换 #

## 0、模拟主库(172.25.5.1)故障 ##

kill 掉主库MySQL服务

![在这里插入图片描述][20190918081425368.png]

## 1、MHA 自动切换主库 ##

VIP 漂移  
![在这里插入图片描述][20190918082138466.png]

在node2（172.25.5.3）上：

VIP 漂移  
![在这里插入图片描述][20190918081532739.png]

在node3（172.25.5.4）上看主从信息：

*  master切换到了node2（172.25.5.3），高可用成功！  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 8]  
    切换 master 后，MHA进程会自动关闭 ，并生成文件 mha.failover.complete

masterha_check_status --conf=/etc/mha/mha.conf

![在这里插入图片描述][20190917171518652.png]

*  mha.failover.complete 文件：该文件生成后，将不在允许主库故障后自动切换

## 2、手动切换主库 ##

手动failover，这种场景意味着在业务上没有启用MHA自动切换功能，当主服务器故障时，人工手动调用MHA来进行故障切换操作

环境介绍

由于刚才 MHA 自动切换成功，所以现在主库是172.25.5.3，重启宕掉的主库后成为新的slave

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 9]  
为了确保不会自动切换，停掉 MHA 进程：

masterha_stop --conf=/etc/mha/mha.conf

![在这里插入图片描述][20190918083521530.png]  
将主库kill掉  
![在这里插入图片描述][20190918083622876.png]

主库切换失败：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 10]

MHA 自动切换主库失败后，可以用手动切换

在管理节点操作：

masterha_master_switch --master_state=dead --conf=/etc/mha/mha.conf --dead_master_host=172.25.5.3 --dead_master_port=3306 --new_master_ip=172.25.5.1 --new_master_port=3306

![在这里插入图片描述][20190918084059844.png]  
切换成功：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 11]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 12]

![在这里插入图片描述][20190918084408674.png]

## 将宕掉的MySQL主库恢复起来 ##

node1，原主库

mysqld_safe --defaults-file=/etc/my.cnf &

## 重新指向新的主库，配置主从 ##

node1，原主库

mysql -uroot -p
    
    root@localhost [(none)]>change master to
        -> master_host='172.25.5.3',
        -> master_user='gtid',
        -> master_password='gtid123',
        -> master_auto_position=1;
     
     root@localhost [(none)]>start slave;
     root@localhost [(none)]>show slave status\G

*  至此，新的一主两从结构完成！

![在这里插入图片描述][20190917172251296.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 13]

# 六、让宕掉的主库重新成为新的主库 #

*  手动回切需要关闭MHA监控，如下图
 *  masterha\_check\_status --conf=/etc/mha/mha.conf 来查看MHA监控是否打开

![在这里插入图片描述][20191026143812687.png]  
将宕掉的MySQL主库重启并成为新的 slave 后，在**管理节点操作**：

masterha_master_switch --conf=/etc/mha/mha.conf --master_state=alive --new_master_host=172.25.5.1 --orig_master_is_new_slave

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 14]  
在node2节点（刚才故障切换的新主库）上可以看到：node2已经成为了一个slave，而主库是172.25.5.1（node1）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 15]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/8deed4ebd317471898397df19b866be1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/d9ae0eb632c14a1f8cca31ec462888c0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/15abbd75d34346f2ad7bec09cd50ae2b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/9f9db8f0bfa54abe9a25b495809da465.png
[20190915172455791.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/402d7974dbec4f63b193b39553281afc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/c07cdc625c774f1daf0d0d002fd5571d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/7c2a43c46c90453084c60eca56f74f5f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/449b38b5f7de4d4abec54a705ba9967c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/a6b04b6a82884d2581099e39fd5448e9.png
[20190916202556763.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/c97f38e6fbc843f3b126343f65948735.png
[20190918081425368.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/16d99eb1c64545cb80bf6d9a0753c350.png
[20190918082138466.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/96abc2c961824d59b22ff320b56e268e.png
[20190918081532739.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/10a5e1b0b0434c1ca916387854a3e2df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 8]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/da931043dfa344d5a4d46fcec5fbd2d9.png
[20190917171518652.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/2a2a51dae9784883a9156308fb27e827.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 9]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/b77e855807824ecab046aec5c0965bf6.png
[20190918083521530.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/ee7860c87c254fadb1747af1e200f129.png
[20190918083622876.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/9fb8e55320f94c5897ea7be0707b2cb5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 10]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/41762178e08d4084a804e55156c01d3b.png
[20190918084059844.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/fcaf9bf17582479887577d7fdbf2e123.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 11]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/dbd2dfca8411490c8ef5dad791327edf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 12]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/24d55d8b351a4ce9bc69a1a678fa2420.png
[20190918084408674.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/9572a900d4e3448cb63c853f1c48b3f8.png
[20190917172251296.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/f1a5a9eb10e9479e889a048c16224fd4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 13]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/449f8abc57c34449a39a8107dbc45e22.png
[20191026143812687.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/5b77ea32c87e4b1da2f35c07b47474e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 14]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/015cc027354c4931acc75623f946946a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDI5NzMwMw_size_16_color_FFFFFF_t_70 15]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/ab67213b6be24b2d95e741e7de94ec3e.png