MySQL MHA高可用集群部署及故障切换

小灰灰 2023-09-29 12:41 22阅读 0赞

## 一、MHA概念 ##

MHA (MasterHigh Availability)是一套优秀的MySQL高可用环境下故障切换和主从复制的软件。

MHA的出现就是解决MySQL单点的问题。

MySQL故障切换过程中，MHA能做到o-30秒内自动完成故障切换操作。

MHA能在故障切换的过程中最大程度上保证数据的一致性，以达到真正意义上的高可用。

1、MHA的组成

（一）、MHA Node(数据节点)

MHA Node运行在每台MySQL服务器上。

（二）、MHA Manager(管理节点)

MHA Manager可以单独部署在一台独立的机器上，管理多个master-slave 集群;也可以部署在一台slave节点上。

MHA Manager 会定时探测集群中的 master节点。当master出现故障时，它可以自动将最新数据的slave提升为新的 master，然后将所有其他的slave 重新指向新的master。整个故障转移过程对应用程序完全透明。

2、MHA的特点

①、自动故障切换过程中，MHA试图从宕机的主服务器上保存二进制日志，最大程度的保证数据不丢失

②、使用半同步复制，可以大大降低数据丢失的风险，如果只有一个slave已经收到了最新的二进制日志，MHA可以将最新的二进制日志应用于其他所有的slave服务器上，因此可以保证所有节点的数据一致性

③、目前MHA支持一主多从架构，最少三台服务，即一主两从

二、搭建MySQL+MHA

实验思路

1、MHA架构

数据库安装

一主两从

MHA搭建

2、故障模拟

模拟主库失效

备选主库成为主库

原故障主库恢复重新加入到MHA成为从库

实验环境、安装包

![4672c46f5735acea0fb773c1bfc9151d.png][]

netstat -natp | grep 3306

![fea2fe0b1479c6db7a0be142b3f88f8f.png][]

1、所有服务器，关闭系统防火墙和安全机制

systemctl stop firewalld
    systemctl disable firewalld
    setenforce 0

![6f3eff416d038f9acfd1e4b43dccd1ee.png][]

2、修改master (192.168.184.20). Slave1 (192.168.184.30) .Slave2(192.168.184.40)节点的主机名

hostnamectl set-hostname mysql1
    su -
    
    hostnamectl set-hostname mysql2
    su -
    
    hostnamectl set-hostname mysql3
    su -

![289a97bfe13b15be26928b6325d27611.png][]

![d6e8c67c7c4948f22845b99e5069fd2f.png][]

3、修改三台MySQL服务器的主配置文件letc/my.cnf

master: mysql1(192.168.184.20)

vim /etc/my.cnf
    [mysqld]
    server-id = 20
    log_bin = master-bin
    log-slave-updates = true
    
    systemctl restart mysqld
    ln -s /usr/local/mysql/bin/mysql /usr/sbin/
    ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/

![0c6f0d7627a58a45c956235810cfa74d.png][]

slave: mysql2(192.168.184.30)、mysql3(192.168.184.40)

vim /etc/my.cnf
    server-id = 30  
    #server-id = 40  mysql3则为40，三台服务器 server-id 不能一样
    log_bin = master-bin
    relay-log = relay-log-bin
    relay-log-index = slave-relay-bin.index
    
    systemctl restart mysqld
    ln -s /usr/local/mysql/bin/mysql /usr/sbin/
    ln -s /usr/local/mysql/bin/mysqlbinlog /usr/sbin/

![6860185cc69efd2e4e4c567a77ec93b7.png][]

![55acd7e48ee60ff5d3bd90084c776ff8.png][]

4、配置MySQL一主两从

所有MySQL服务器进行MySQL授权

mysql -e "grant replication slave on *.* to 'myslave'@'192.168.184.%' identified by '123123';"
    mysql -e "grant all privileges on *.* to 'mha'@'192.168.184.%' identified by 'manager';"
    mysql -e "grant all privileges on *.* to 'mha'@'mysql1' identified by 'manager';"
    mysql -e "grant all privileges on *.* to 'mha'@'mysql2' identified by 'manager';"
    mysql -e "grant all privileges on *.* to 'mha'@'mysql3' identified by 'manager';"

![91b52de6268a6fb0590a9d1a0a74c1a1.png][]

在Master节点查看二进制文件和同步点

mysql -e "show master status;"
    
    例：每个人的二进制文件名或者偏移量都可能不一样，记住自己的
    +-------------------+----------+--------------+------------------+-------------------+
    | File              | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
    +-------------------+----------+--------------+------------------+-------------------+
    | master-bin.000001 |     4193 |              |                  |                   |
    +-------------------+----------+--------------+------------------+-------------------+

在Slave1、Slave2节点执行同步操作

mysql -e "change master to master_host='192.168.184.20',master_user='myslave',master_password='123123',master_log_file='master-bin.000001',master_log_pos=4193;"
    
    mysql -e "start slave;" 
    mysql -e "show slave status\G" | awk '/Running:/{print}'

![fe882dc736ac928ae28e90e16b03edcd.png][]

Slave1、Slave2节点设置为只读模式

mysql -e "set global read_only=1;"

![6ba7d142e23d47476340116614448bc4.png][]

5、主从复制验证

在Master创建库

![676d0bf6592aceb95a01570b7f6749f1.png][]

slave查询库验证

![04551c398c4b05fdcaee21b4b0bd1590.png][]

主从复制搭建完成

6、安装MHA软件

1、所有服务器上都安装MHA依赖的环境，首先安装epel源，需要在线源安装

再在所有服务器上安装node组件

mv /etc/yum.repos.d/repos.bak/CentOS-* /etc/yum.repos.d/
    yum list
    
    yum install epel-release --nogpgcheck -y
    
    yum install -y perl-DBD-MySQL \
    perl-Config-Tiny \
    perl-Log-Dispatch \
    perl-Parallel-ForkManager \
    perl-ExtUtils-CBuilder \
    perl-ExtUtils-MakeMaker \
    perl-CPAN
    
    将软件包mha4mysql-node-0.57.tar.gz放入/opt目录下
    
    cd /opt
    tar zxvf mha4mysql-node-0.57.tar.gz
    cd mha4mysql-node-0.57
    perl Makefile.PL
    make && make install
    对于每个操作系统版本不一样，这里 CentOS7.4 必须选择 0.57 版本。
    在所有服务器上必须先安装 node 组件，最后在 MHA-manager 节点上安装 manager 组件，因为 manager 依赖 node 组件。

2、在 MHA manager节点上安装manager组件

将软件包mha4mysql-manager-0.57.tar.gz放入/opt目录下
    
    cd /opt
    tar zxvf mha4mysql-manager-0.57.tar.gz
    cd mha4mysql-manager-0.57
    perl Makefile.PL
    make && make install

\#manager组件安装后在/usrlocal/bin下面会生成几个工具，主要包括以下几个:

![6a6413632b17120454ef31594537ca21.png][]

\#node组件安装后也会在/usrlocalbin下面会生成几个脚本(这些工具通常由MHAManager的脚本触发，无需人为操作)主要如下:

![ad7395e0d4c594fc5f07aa129f088e13.png][]

![5e353da6334b6cb5ab238fdcf2f9030e.png][]

7、在所有服务器上配置无密码认证

1、在manager (192.168.184.10)节点上配置到所有【数据库节点】的无密码认证

ssh-keygen -t rsa         #一路按回车键
    ssh-copy-id 192.168.184.20
    ssh-copy-id 192.168.184.30
    ssh-copy-id 192.168.184.40

![78d81e9f72f997e69b1fd52bbdc1b954.png][]

2、在mysql1 (192.168.184.20)上配置到数据库节点mysql2 (192.168.184.30)和mysql3(192.168.184.40)的无密码认证

ssh-keygen -t rsa
    ssh-copy-id 192.168.184.30
    ssh-copy-id 192.168.184.40

3、在mysql2 (192.168.184.30)上配置到数据库节点mysql1 (192.168.184.20)和mysql3 (192.168.184.40)的无密码认证

ssh-keygen -t rsa
    ssh-copy-id 192.168.184.20
    ssh-copy-id 192.168.184.40

4、在mysql3(192.168.184.40)上配置到数据库节点mysql1 (192.168.184.20)和mysql2(192.168.184.30)的无密码认证

ssh-keygen -t rsa
    ssh-copy-id 192.168.184.20
    ssh-copy-id 192.168.184.30

8、在manager节点上配置MHA

1、在manager节点上复制相关脚本到/usr/local/bin目录

cp -rp /opt/mha4mysql-manager-0.57/samples/scripts /usr/local/bin
    
    #复制后会有四个执行文件
    ll /usr/local/bin/scripts/

![2431675d282878f4c7b52b87a66e3d78.png][]

![2b48ad29a7aaf358a0efcd89dbc92b8a.png][]

2、复制上述的自动切换时VIlP管理的脚本到/usr/localbin目录，这里使用master\_ip\_failover脚本来管理VIP和故障切换

cp /usr/local/bin/scripts/master_ip_failover /usr/local/bin

3、修改内容如下:(删除原有内容，直接复制并修改vip相关参数，vip自定义)

echo '' > /usr/local/bin/master_ip_failover
    
    vim /usr/local/bin/master_ip_failover

![2c65e33cc77c3ffe42373d5e61f59579.png][]

#!/usr/bin/env perl
    use strict;
    use warnings FATAL => 'all';
    
    use Getopt::Long;
    
    my (
    $command, $ssh_user, $orig_master_host, $orig_master_ip,
    $orig_master_port, $new_master_host, $new_master_ip, $new_master_port
    );
    #############################添加内容部分#########################################
    my $vip = '192.168.184.200';                #指定vip的地址
    my $brdc = '192.168.184.255';               #指定vip的广播地址
    my $ifdev = 'ens33';                    #指定vip绑定的网卡
    my $key = '1';                        #指定vip绑定的虚拟网卡序列号
    my $ssh_start_vip = "/sbin/ifconfig ens33:$key $vip";   #代表此变量值为ifconfig ens33:1 192.168.184.200
    my $ssh_stop_vip = "/sbin/ifconfig ens33:$key down";    #代表此变量值为ifconfig ens33:1 192.168.184.200 down
    my $exit_code = 0;                      #指定退出状态码为0
    #my $ssh_start_vip = "/usr/sbin/ip addr add $vip/24 brd $brdc dev $ifdev label $ifdev:$key;/usr/sbin/arping -q -A -c 1 -I $ifdev $vip;iptables -F;";
    #my $ssh_stop_vip = "/usr/sbin/ip addr del $vip/24 dev $ifdev label $ifdev:$key";
    ##################################################################################
    GetOptions(
    'command=s' => \$command,
    'ssh_user=s' => \$ssh_user,
    'orig_master_host=s' => \$orig_master_host,
    'orig_master_ip=s' => \$orig_master_ip,
    'orig_master_port=i' => \$orig_master_port,
    'new_master_host=s' => \$new_master_host,
    'new_master_ip=s' => \$new_master_ip,
    'new_master_port=i' => \$new_master_port,
    );
    
    exit &main();
    
    sub main {
    
    print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";
    
    if ( $command eq "stop" || $command eq "stopssh" ) {
    
    my $exit_code = 1;
    eval {
    print "Disabling the VIP on old master: $orig_master_host \n";
    &stop_vip();
    $exit_code = 0;
    };
    if ($@) {
    warn "Got Error: $@\n";
    exit $exit_code;
    }
    exit $exit_code;
    }
    elsif ( $command eq "start" ) {
    
    my $exit_code = 10;
    eval {
    print "Enabling the VIP - $vip on the new master - $new_master_host \n";
    &start_vip();
    $exit_code = 0;
    };
    if ($@) {
    warn $@;
    exit $exit_code;
    }
    exit $exit_code;
    }
    elsif ( $command eq "status" ) {
    print "Checking the Status of the script.. OK \n";
    exit 0;
    }
    else {
    &usage();
    exit 1;
    }
    }
    sub start_vip() {
    `ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
    }
    ## A simple system call that disable the VIP on the old_master
    sub stop_vip() {
    `ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
    }
    
    sub usage {
    print
    "Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
    }

4、创建MHA软件目录并复制配置文件，使用app1.cnf配置文件来管理mysql节点服务器，配置文件一般放在/etc,目录下

mkdir /etc/masterha
    cp /opt/mha4mysql-manager-0.57/samples/conf/app1.cnf /etc/masterha

![b7c88640d9d04ea09b4b82bf41265bcc.png][]

\#删除原有内容，直接复制并修改节点服务器的IP地址

![71c40b7705647e8dce39aa14622561f1.png][]

echo '' > /etc/masterha/app1.cnf
    vim /etc/masterha/app1.cnf  
    
    [server default]
    manager_log=/var/log/masterha/app1/manager.log
    manager_workdir=/var/log/masterha/app1
    master_binlog_dir=/usr/local/mysql/data
    master_ip_failover_script=/usr/local/bin/master_ip_failover
    master_ip_online_change_script=/usr/local/bin/master_ip_online_change
    password=manager
    ping_interval=1
    remote_workdir=/tmp
    repl_password=123123
    repl_user=myslave
    secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.184.30 -s 192.168.184.40
    shutdown_script=""
    ssh_user=root
    user=mha
    
    [server1]
    hostname=192.168.184.20
    port=3306
    
    [server2]
    candidate_master=1
    check_repl_delay=0
    hostname=192.168.184.30
    port=3306
    
    [server3]
    hostname=192.168.184.40
    port=3306

[server default]
    manager_log=/var/log/masterha/app1/manager.log　　　　　  #manager日志
    manager_workdir=/var/log/masterha/app1.log　　　　    #manager工作目录
    master_binlog_dir=/usr/local/mysql/data/　　　　　　　　 　#master保存binlog的位置，这里的路径要与master里配置的binlog的路径一致，以便MHA能找到
    master_ip_failover_script=/usr/local/bin/master_ip_failover　          　#设置自动failover时候的切换脚本，也就是上面的那个脚本
    master_ip_online_change_script=/usr/local/bin/master_ip_online_change　　#设置手动切换时候的切换脚本
    password=manager      #设置mysql中root用户的密码，这个密码是前文中创建监控用户的那个密码
    ping_interval=1       #设置监控主库，发送ping包的时间间隔1秒，默认是3秒，尝试三次没有回应的时候自动进行failover
    remote_workdir=/tmp     #设置远端mysql在发生切换时binlog的保存位置
    repl_password=123123    #设置复制用户的密码
    repl_user=myslave     #设置复制用户的用户
    report_script=/usr/local/send_report　　　　　#设置发生切换后发送的报警的脚本
    secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.184.30 -s 192.168.184.40  #指定检查的从服务器IP地址
    shutdown_script=""      #设置故障发生后关闭故障主机脚本（该脚本的主要作用是关闭主机防止发生脑裂,这里没有使用）
    ssh_user=root       #设置ssh的登录用户名
    user=mha          #设置监控用户root
    
    [server1]
    hostname=192.168.184.20
    port=3306
    
    [server2]
    hostname=192.168.184.30
    port=3306
    candidate_master=1
    #设置为候选master，设置该参数以后，发生主从切换以后将会将此从库提升为主库，即使这个主库不是集群中最新的slave
    
    check_repl_delay=0
    #默认情况下如果一个slave落后master 超过100M的relay logs的话，MHA将不会选择该slave作为一个新的master， 因为对于这个slave的恢复需要花费很长时间；通过设置check_repl_delay=0，MHA触发切换在选择一个新的master的时候将会忽略复制延时，这个参数对于设置了candidate_master=1的主机非常有用，因为这个候选主在切换的过程中一定是新的master
    
    [server3]
    hostname=192.168.184.40
    port=3306

在Master服务器上手动开启vip

ifconfig ens33:1 192.168.184.200/24

![4e17a3f1d7bba06198bf827e9e4fe316.png][]

5、在manager节点上测试 ssh无密码认证，如果正常最后会输出 successfully。

masterha_check_ssh -conf=/etc/masterha/app1.cnf

![5ddac47471840b72007c89fc60825e7d.png][]

6、在manager节点上测试, mysql主从连接情况，最后出现MySQL Replication Health is OK字样说明正常。

masterha_check_repl -conf=/etc/masterha/app1.cnf

![4a32c39c1874c3b2ea3d74129b2f3b3c.png][]

7、在manager节点上启动MHA

nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &

![b84266afea2da22e8fc3746760cb7663.png][]

![ccef614e16c656b78fc55c2b44db28f3.png][]

- -ignore_last_failover：在缺省情况下，如果 MHA 检测到连续发生宕机，且两次宕机间隔不足 8 小时的话，则不会进行 Failover， 之所以这样限制是为了避免 ping-pong 效应。该参数代表忽略上次 MHA 触发切换产生的文件，默认情况下，MHA 发生切换后会在日志记目录，也就是上面设置的日志app1.failover.complete文件，下次再次切换的时候如果发现该目录下存在该文件将不允许触发切换，除非在第一次切换后收到删除该文件，为了方便，这里设置为–ignore_last_failover。

查看MHA状态，可以看到当前的master是 Mysql1节点。

masterha_check_status --conf=/etc/masterha/app1.cnf

查看MHA日志，也以看到当前的 master是192.168.184.20，如下所示。

cat /var/log/masterha/app1/manager.log | grep "current master"

![cc35299e982db12f622efa4e0b2aaf76.png][]

查看Mysql1的VIP地址192.168.184.200是否存在，这个VIP地址不会因为manager节点停止MHA服务而消失。

ifconfig

若要关闭manager服务，可以使用如下命令。

masterha_stop --conf=/etc/masterha/app1.cnf
    或者可以直接采用 kill 进程 ID 的方式关闭

9、故障模拟

在manager节点上监控观察日志记录

tail -f /var/log/masterha/app1/manager.log

![60cff1f2c59e3dbb9685ce43643139f2.png][]

在Master节点Mysql1上停止mysql服务

systemctl stop mysqld

![2b56e1c66cff7ebba2760b0fc563c7aa.png][]

正常自动切换一次后，MHA 进程会退出。HMA 会自动修改 app1.cnf 文件内容，将宕机的 mysql1 节点删除。

查看mysql2是否接管VIP

ifconfig

![8ef30c7bb0df38850adddc07bb0a9b36.png][]

查看manager节点动态日志

![4aaf74f846ae050f75fc44dbf9838955.png][]

故障切换备选主库的算法:

1、一般判断从库的是从(position/GTID)判断优劣，数据有差异，最接近于master的slave，成为备选主。

2、数据─致的情况下，按照配置文件顺序，选择备选主库。

3、设定有权重(candidate\_master=1)，按照权重强制指定备选主。

默认情况下如果一个slave落后master 100M的relay logs的话，即使有权重，也会失效。

如果check\_repl\_delay=0的话，即使落后很多日志，也强制选择其为备选主。

**故障修复**

1、修复master

systemctl restart mysqld

![f4cf1ba83a48bb62baebe833d82896cb.png][]

2、修复主从

在现主库服务器Mysql2(192.168.184.30)查看二进制文件和同步点

mysql -e "show master status;"

![7b383ca95288f6f4521a4f25fc5f7ce1.png][]

在原主库服务器mysql1(192.168.184.20)执行同步操作

mysql -e "change master to master_host='192.168.184.30',master_user='myslave',master_password='123123',master_log_file='master-bin.000001',master_log_pos=1595;"
    
    mysql -e "start slave;"
    mysql -e "show slave status\G" | awk '/Running:/{print}'

![6ef00408d18e584061ec4a5dab2633cd.png][]

3、在manager节点上修改配置文件app1.cnf(再把这个记录添加进去，因为它检测掉失效时候会自动消失)

vim /etc/masterha/app1.cnf
    ……
    secondary_check_script=/usr/local/bin/masterha_secondary_check -s 192.168.184.20 -s 192.168.184.40
    ......
    [server1]
    hostname=192.168.184.30
    port=3306
    
    [server2]
    candidate_master=1
    check_repl_delay=0
    hostname=192.168.184.20
    port=3306
    
    [server3]
    hostname=192.168.184.40
    port=3306

![d62b1694d18598612bbda8424c56e51f.png][]

4、在manager节点上启动MHA

masterha_stop --conf=/etc/masterha/app1.cnf
    
    nohup masterha_manager --conf=/etc/masterha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/masterha/app1/manager.log 2>&1 &
    
    masterha_check_status --conf=/etc/masterha/app1.cnf

![ca12e2d2ff1ca168fa1cd902eea178d0.png][]

感谢阅读！

![3a8e62e8314167267e02be77b39b8933.png][]

[4672c46f5735acea0fb773c1bfc9151d.png]: https://img-blog.csdnimg.cn/img_convert/4672c46f5735acea0fb773c1bfc9151d.png
[fea2fe0b1479c6db7a0be142b3f88f8f.png]: https://img-blog.csdnimg.cn/img_convert/fea2fe0b1479c6db7a0be142b3f88f8f.png
[6f3eff416d038f9acfd1e4b43dccd1ee.png]: https://img-blog.csdnimg.cn/img_convert/6f3eff416d038f9acfd1e4b43dccd1ee.png
[289a97bfe13b15be26928b6325d27611.png]: https://img-blog.csdnimg.cn/img_convert/289a97bfe13b15be26928b6325d27611.png
[d6e8c67c7c4948f22845b99e5069fd2f.png]: https://img-blog.csdnimg.cn/img_convert/d6e8c67c7c4948f22845b99e5069fd2f.png
[0c6f0d7627a58a45c956235810cfa74d.png]: https://img-blog.csdnimg.cn/img_convert/0c6f0d7627a58a45c956235810cfa74d.png
[6860185cc69efd2e4e4c567a77ec93b7.png]: https://img-blog.csdnimg.cn/img_convert/6860185cc69efd2e4e4c567a77ec93b7.png
[55acd7e48ee60ff5d3bd90084c776ff8.png]: https://img-blog.csdnimg.cn/img_convert/55acd7e48ee60ff5d3bd90084c776ff8.png
[91b52de6268a6fb0590a9d1a0a74c1a1.png]: https://img-blog.csdnimg.cn/img_convert/91b52de6268a6fb0590a9d1a0a74c1a1.png
[fe882dc736ac928ae28e90e16b03edcd.png]: https://img-blog.csdnimg.cn/img_convert/fe882dc736ac928ae28e90e16b03edcd.png
[6ba7d142e23d47476340116614448bc4.png]: https://img-blog.csdnimg.cn/img_convert/6ba7d142e23d47476340116614448bc4.png
[676d0bf6592aceb95a01570b7f6749f1.png]: https://img-blog.csdnimg.cn/img_convert/676d0bf6592aceb95a01570b7f6749f1.png
[04551c398c4b05fdcaee21b4b0bd1590.png]: https://img-blog.csdnimg.cn/img_convert/04551c398c4b05fdcaee21b4b0bd1590.png
[6a6413632b17120454ef31594537ca21.png]: https://img-blog.csdnimg.cn/img_convert/6a6413632b17120454ef31594537ca21.png
[ad7395e0d4c594fc5f07aa129f088e13.png]: https://img-blog.csdnimg.cn/img_convert/ad7395e0d4c594fc5f07aa129f088e13.png
[5e353da6334b6cb5ab238fdcf2f9030e.png]: https://img-blog.csdnimg.cn/img_convert/5e353da6334b6cb5ab238fdcf2f9030e.png
[78d81e9f72f997e69b1fd52bbdc1b954.png]: https://img-blog.csdnimg.cn/img_convert/78d81e9f72f997e69b1fd52bbdc1b954.png
[2431675d282878f4c7b52b87a66e3d78.png]: https://img-blog.csdnimg.cn/img_convert/2431675d282878f4c7b52b87a66e3d78.png
[2b48ad29a7aaf358a0efcd89dbc92b8a.png]: https://img-blog.csdnimg.cn/img_convert/2b48ad29a7aaf358a0efcd89dbc92b8a.png
[2c65e33cc77c3ffe42373d5e61f59579.png]: https://img-blog.csdnimg.cn/img_convert/2c65e33cc77c3ffe42373d5e61f59579.png
[b7c88640d9d04ea09b4b82bf41265bcc.png]: https://img-blog.csdnimg.cn/img_convert/b7c88640d9d04ea09b4b82bf41265bcc.png
[71c40b7705647e8dce39aa14622561f1.png]: https://img-blog.csdnimg.cn/img_convert/71c40b7705647e8dce39aa14622561f1.png
[4e17a3f1d7bba06198bf827e9e4fe316.png]: https://img-blog.csdnimg.cn/img_convert/4e17a3f1d7bba06198bf827e9e4fe316.png
[5ddac47471840b72007c89fc60825e7d.png]: https://img-blog.csdnimg.cn/img_convert/5ddac47471840b72007c89fc60825e7d.png
[4a32c39c1874c3b2ea3d74129b2f3b3c.png]: https://img-blog.csdnimg.cn/img_convert/4a32c39c1874c3b2ea3d74129b2f3b3c.png
[b84266afea2da22e8fc3746760cb7663.png]: https://img-blog.csdnimg.cn/img_convert/b84266afea2da22e8fc3746760cb7663.png
[ccef614e16c656b78fc55c2b44db28f3.png]: https://img-blog.csdnimg.cn/img_convert/ccef614e16c656b78fc55c2b44db28f3.png
[cc35299e982db12f622efa4e0b2aaf76.png]: https://img-blog.csdnimg.cn/img_convert/cc35299e982db12f622efa4e0b2aaf76.png
[60cff1f2c59e3dbb9685ce43643139f2.png]: https://img-blog.csdnimg.cn/img_convert/60cff1f2c59e3dbb9685ce43643139f2.png
[2b56e1c66cff7ebba2760b0fc563c7aa.png]: https://img-blog.csdnimg.cn/img_convert/2b56e1c66cff7ebba2760b0fc563c7aa.png
[8ef30c7bb0df38850adddc07bb0a9b36.png]: https://img-blog.csdnimg.cn/img_convert/8ef30c7bb0df38850adddc07bb0a9b36.png
[4aaf74f846ae050f75fc44dbf9838955.png]: https://img-blog.csdnimg.cn/img_convert/4aaf74f846ae050f75fc44dbf9838955.png
[f4cf1ba83a48bb62baebe833d82896cb.png]: https://img-blog.csdnimg.cn/img_convert/f4cf1ba83a48bb62baebe833d82896cb.png
[7b383ca95288f6f4521a4f25fc5f7ce1.png]: https://img-blog.csdnimg.cn/img_convert/7b383ca95288f6f4521a4f25fc5f7ce1.png
[6ef00408d18e584061ec4a5dab2633cd.png]: https://img-blog.csdnimg.cn/img_convert/6ef00408d18e584061ec4a5dab2633cd.png
[d62b1694d18598612bbda8424c56e51f.png]: https://img-blog.csdnimg.cn/img_convert/d62b1694d18598612bbda8424c56e51f.png
[ca12e2d2ff1ca168fa1cd902eea178d0.png]: https://img-blog.csdnimg.cn/img_convert/ca12e2d2ff1ca168fa1cd902eea178d0.png
[3a8e62e8314167267e02be77b39b8933.png]: https://img-blog.csdnimg.cn/img_convert/3a8e62e8314167267e02be77b39b8933.png