Linux Centos MyCat数据库中间件安装与配置

待我称王封你为后i 2022-04-11 04:55 494阅读 0赞

#### 前言 ####

如今随着互联网的发展，数据的量级也是撑指数的增长，从GB到TB到PB。对数据的各种操作也是愈加的困难，传统的关系性数据库已经无法满足快速查询与插入数据的需求。这个时候NoSQL的出现暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，来获取性能上的提升。  
但是，在有些场合NoSQL一些折衷是无法满足使用场景的，就比如有些使用场景是绝对要有事务与安全指标的。这个时候NoSQL肯定是无法满足的，所以还是需要使用关系性数据库。如果使用关系型数据库解决海量存储的问题呢？此时就需要做数据库集群，为了提高查询性能将一个数据库的数据分散到不同的数据库中存储。

#### Mycat简介 ####

Mycat 背后是阿里曾经开源的知名产品——Cobar。Cobar的核心功能和优势是 MySQL 数据库分片，此产品曾经广为流传，据说最早的发起者对 Mysql 很精通，后来从阿里跳槽了，阿里随后开源的 Cobar，并维持到 2013 年年初，然后，就没有然后了。  
Cobar 的思路和实现路径的确不错。基于 Java 开发的，实现了 MySQL 公开的二进制传输协议，巧妙地将自己伪装成一个 MySQL Server，目前市面上绝大多数 MySQL 客户端工具和应用都能兼容。比自己实现一个新的数据库协议要明智的多，因为生态环境在哪里摆着。  
Mycat 是基于 cobar 演变而来，对 cobar 的代码进行了彻底的重构，使用 NIO 重构了网络模块，并且优化了 Buffer 内核，增强了聚合，Join 等基本特性，同时兼容绝大多数数据库成为通用的数据库中间件。  
简单的说，Mycat就是一个新颖的数据库中间件产品支持mysql集群，或者mariadb cluster，提供高可用性数据分片集群。你可以像使用mysql一样使用mycat。对于开发人员来说根本感觉不到mycat的存在。

##### 构架图 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70]

##### Mycat支持的数据库 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 1]

#### MyCat安装与启动 ####

环境要求

*  JDK必须是1.7及以上版本
 *  MySQL推荐使用5.5以上的版本
 *  本次安装`JDK1.8`、`MySQL5.7`、`MyCat1.5`
 *  Mysql安装这里不在进行安装了，具体的可以看MySQL安装教程。

1、Mycat官方网站

http://www.mycat.org.cn/

2、下载地址：

https://github.com/MyCATApache/Mycat-download

提供下载链接 [百度网盘][Link 1]  
3、将下载好的 `Mycat-server-1.5.1-RELEASE-20161130213509-linux.tar.gz`上传到服务器。  
4、将压缩包解压。建议将Mycat放到/usr/local/mycat目录下

tar -xzvf Mycat-server-1.5.1-RELEASE-20161130213509-linux.tar.gz
    mv mycat /usr/locat

5、修改配置文件 `mycat/conf/wrapper.conf` 指定JDK路径

大概在第5行左右，路径根据实际自己的情况
    wrapper.java.command=/usr/java/jdk1.8.0_171/bin/java

![在这里插入图片描述][20181204222036207.png]  
6、先学几个命令

./mycat start 启动
    
    ./mycat stop 停止
    
    ./mycat console 前台运行
    
    ./mycat install 添加到系统自动启动（暂未实现）
    
    ./mycat remove 取消随系统自动启动（暂未实现）
    
    ./mycat restart 重启服务
    
    ./mycat pause 暂停
    
    ./mycat status 查看启动状态

7、进到mycat目录的bin目录下，启动Mycat

./mycat console

##### 出现一堆错误 #####

Running Mycat-server...
    wrapper  | --> Wrapper Started as Console
    wrapper  | Launching a JVM...
    wrapper  | JVM exited while loading the application.
    jvm 1    | Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=64M; support was removed in 8.0
    jvm 1    | Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000715550000, 715849728, 0) failed; error='Cannot allocate memory' (errno=12)
    jvm 1    | #
    jvm 1    | # There is insufficient memory for the Java Runtime Environment to continue.
    jvm 1    | # Native memory allocation (mmap) failed to map 715849728 bytes for committing reserved memory.
    jvm 1    | # An error report file with more information is saved as:
    jvm 1    | # /usr/local/mycat/hs_err_pid7676.log
    wrapper  | Launching a JVM...
    wrapper  | JVM exited while loading the application.
    jvm 2    | Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=64M; support was removed in 8.0
    jvm 2    | Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000715550000, 715849728, 0) failed; error='Cannot allocate memory' (errno=12)
    jvm 2    | #
    jvm 2    | # There is insufficient memory for the Java Runtime Environment to continue.
    jvm 2    | # Native memory allocation (mmap) failed to map 715849728 bytes for committing reserved memory.
    jvm 2    | # An error report file with more information is saved as:
    jvm 2    | # /usr/local/mycat/hs_err_pid7681.log
    wrapper  | Launching a JVM...
    wrapper  | JVM exited while loading the application.
    jvm 3    | Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=64M; support was removed in 8.0
    jvm 3    | Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000715550000, 715849728, 0) failed; error='Cannot allocate memory' (errno=12)
    jvm 3    | #
    jvm 3    | # There is insufficient memory for the Java Runtime Environment to continue.
    jvm 3    | # Native memory allocation (mmap) failed to map 715849728 bytes for committing reserved memory.
    jvm 3    | # An error report file with more information is saved as:
    jvm 3    | # /usr/local/mycat/hs_err_pid7687.log
    wrapper  | Launching a JVM...
    wrapper  | JVM exited while loading the application.
    jvm 4    | Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=64M; support was removed in 8.0
    jvm 4    | Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000715550000, 715849728, 0) failed; error='Cannot allocate memory' (errno=12)
    jvm 4    | #
    jvm 4    | # There is insufficient memory for the Java Runtime Environment to continue.
    jvm 4    | # Native memory allocation (mmap) failed to map 715849728 bytes for committing reserved memory.
    jvm 4    | # An error report file with more information is saved as:
    jvm 4    | # /usr/local/mycat/hs_err_pid7692.log
    wrapper  | Launching a JVM...
    wrapper  | JVM exited while loading the application.
    jvm 5    | Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=64M; support was removed in 8.0
    jvm 5    | Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000715550000, 715849728, 0) failed; error='Cannot allocate memory' (errno=12)
    jvm 5    | #
    jvm 5    | # There is insufficient memory for the Java Runtime Environment to continue.
    jvm 5    | # Native memory allocation (mmap) failed to map 715849728 bytes for committing reserved memory.
    jvm 5    | # An error report file with more information is saved as:
    jvm 5    | # /usr/local/mycat/hs_err_pid7697.log
    wrapper  | There were 5 failed launches in a row, each lasting less than 300 seconds.  Giving up.
    wrapper  |   There may be a configuration problem: please check the logs.
    wrapper  | <-- Wrapper Stopped

在mycat目录下可以看到一些 `hs_err_pid`的文件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 2]  
原因是因为我们没有配置JVM堆内存的大小，导致程序无法启动。

##### 解决办法 #####

1、修改 mycat/conf/wrapper.conf 加上下面配置

我的是加到文件最后面
    wrapper.java.additional.10=-Xmx1G
    wrapper.java.additional.11=-Xms512M

2、修改再次启动

Running Mycat-server...
    wrapper  | --> Wrapper Started as Console
    wrapper  | Launching a JVM...
    jvm 1    | Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=64M; support was removed in 8.0
    jvm 1    | Wrapper (Version 3.2.3) http://wrapper.tanukisoftware.org
    jvm 1    |   Copyright 1999-2006 Tanuki Software, Inc.  All Rights Reserved.
    jvm 1    | 
    jvm 1    | log4j 2018-12-04 22:34:38 [./conf/log4j.xml] load completed.
    jvm 1    | MyCAT Server startup successfully. see logs in logs/mycat.log

看到上面提示表示Mycat成功启动，下面看一下启动端口  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 3]  
这时候可以到 Mycat的默认端口号为：8066

#### MyCat 分片-海量数据存储解决方案 ####

##### 什么分片 #####

简单来说，就是指通过某种特定的条件，将我们存放在同一个数据库中的数据分散存放到多个数据库（主机）上面，以达到分散单台设备负载的效果。  
数据的切分（Sharding）根据其切分规则的类型，可以分为两种切分模式。  
1、一种是按照不同的表（或者Schema）来切分到不同的数据库（主机）之上，这种切分可以称之为数据的垂直（纵向）切分。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 4]  
2、另外一种则是根据表中的数据的逻辑关系，将同一个表中的数据按照某种条件拆分到多台数据库（主机）上面，这种切分称之为数据的水平（横向）切分。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 5]

##### MyCat分片策略 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 6]

###### 1、逻辑库（Schema） ######

数据库中间件，通常对实际应用来说，并不需要知道中间件的存在，业务开发人员只需要知道数据库的概念，所以数据库中间件可以被看做是一个或多个数据库集群构成的逻辑库。

###### 2、逻辑表（Table） ######

既然有逻辑库，那么就会有逻辑表，分布式数据库中，对应用来说，读写数据的表就是逻辑表。逻辑表，可以是数据切分后，分布在一个或多个分片库中，也可以不做数据切分，不分片，只有一个表构成。  
分片表：是指那些原有的很大数据的表，需要切分到多个数据库的表，这样，每个分片都有一部分数据，所有分片构成了完整的数据。 总而言之就是需要进行分片的表。  
非分片表：一个数据库中并不是所有的表都很大，某些表是可以不用进行切分的，非分片是相对分片表来说的，就是那些不需要进行数据切分的表。

###### 3、分片节点(dataNode) ######

数据切分后，一个大表被分到不同的分片数据库上面，每个表分片所在的数据库就是分片节点（dataNode）。

###### 4、节点主机(dataHost) ######

数据切分后，每个分片节点（dataNode）不一定都会独占一台机器，同一机器上面可以有多个分片数据库，这样一个或多个分片节点（dataNode）所在的机器就是节点主机（dataHost）,为了规避单节点主机并发数限制，尽量将读写压力高的分片节点（dataNode）均衡的放在不同的节点主机（dataHost）。

###### 5、分片规则(rule) ######

前面讲了数据切分，一个大表被分成若干个分片表，就需要一定的规则，这样按照某种业务规则把数据分到某个分片的规则就是分片规则，数据切分选择合适的分片规则非常重要，将极大的避免后续数据处理的难度。

##### MyCat分片配置 #####

配置文件说明mycat目录下

*  –bin 启动目录
 *  –conf 配置文件存放配置文件
 *  –lib MyCAT自身的jar包或依赖的jar包的存放目录。
 *  –logs MyCAT日志的存放目录。日志存放在logs/log中，每天一个文件。
 *  conf目录

--server.xml：是Mycat服务器参数调整和用户授权的配置文件。
    --schema.xml：是逻辑库定义和表以及分片定义的配置文件。
    --rule.xml：  是分片规则的配置文件，分片规则的具体一些参数信息单独存放为文件，也在这个目录下，配置文件修改需要重启MyCAT。
    --log4j.xml： 日志存放在logs/log中，每天一个文件，日志的配置是在conf/log4j.xml中，根据自己的需要可以调整输出级别为debug，debug级别下，会输出更多的信息，方便排查问题。
    --autopartition-long.txt,partition-hash-int.txt,sequence_conf.properties， sequence_db_conf.properties 分片相关的id分片规则配置文件

Mycat最重要的3大配置文件如图。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 7]

###### 1、配置 schema.xml ######

*  schema.xml作为MyCat中重要的配置文件之一，管理着MyCat的逻辑库、逻辑表以及对应的分片规则、DataNode以及DataSource。弄懂这些配置，是正确使用MyCat的前提。这里就一层层对该文件进行解析。
 *  schema 标签用于定义MyCat实例中的逻辑库。
 *  Table 标签定义了MyCat中的逻辑表 rule用于指定分片规则，auto-sharding-long的分片规则是按ID值的范围进行分片 1-5000000 为第1片 5000001-10000000 为第2片… 具体的后面会讲解
 *  dataNode 标签定义了MyCat中的数据节点，也就是我们通常说所的数据分片。
 *  dataHost标签在mycat逻辑库中也是作为最底层的标签存在，直接定义了具体的数据库实例、读写分离配置和心跳语句。

在服务器上创建3个数据库，分别为 db1、db2、db3

myslq -u root -p
    CREATE DATABASE db1 DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
    CREATE DATABASE db2 DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
    CREATE DATABASE db3 DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

Navicat上可以看到创建了三个空数据库  
![在这里插入图片描述][20181204230056922.png]  
修改mycat/conf/schema.xml。

<?xml version="1.0"?>
    <!DOCTYPE mycat:schema SYSTEM "schema.dtd">
    <mycat:schema xmlns:mycat="http://org.opencloudb/" >
    	name对应逻辑库的库名
    	<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
    		dataNode 对应下面 dataNode的name
    		<table name="tb_test" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
    	</schema>
    	
    	dataHost 对应下面的dataHostname
    	database 对应刚刚新建的三个数据库
    	<dataNode name="dn1" dataHost="localhost1" database="db1" />
    	<dataNode name="dn2" dataHost="localhost1" database="db2" />
    	<dataNode name="dn3" dataHost="localhost1" database="db3" />
    	
    	<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
    		writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
    		<heartbeat>select user()</heartbeat>
    		修改主机地址及用户名密码
    		<writeHost host="hostM1" url="119.23.74.34:3306" user="root"
    			password="123456">
    		</writeHost>
    	</dataHost>
    </mycat:schema>

###### 2、配置 server.xml ######

server.xml几乎保存了所有mycat需要的系统配置信息。最常用的是在此配置用户名、密码及权限。在system中添加UTF-8字符集设置，否则存储中文会出现问号。`mycat/conf/server.xml`

添加
    <property name="charset">utf8</property>

修改 user 的配置，这里对我们的逻辑库 TESTDB设置两个登录用户

<user name="test">
    	<property name="password">123456</property>
    	<property name="schemas">TESTDB</property>
    	
    	<property name="readOnly">true</property>
    </user>
    
    <user name="root">
    	<property name="password">123456</property>
    	<property name="schemas">TESTDB</property>
    </user>

修改配置之后一定记得重启

./mycat restart

##### MyCat分片测试 #####

1、首先先用Navicat数据库连接工具连接到Mycat  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 8]  
连接之后可以看到我们刚刚配置的逻辑库 `TESTDB`现在还是一个空数据库  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 9]  
我们现在先创建一张表，Navicat新建查询

CREATE TABLE tb_test (
      id BIGINT(20) NOT NULL,
      title VARCHAR(100) NOT NULL ,
      PRIMARY KEY (id)
    ) ENGINE=INNODB DEFAULT CHARSET=utf8

创建后会发现我们MySQL的3个库，表都自动创建好了。  
![在这里插入图片描述][20181204233637970.png]  
接下来就是插入数据，注意，在写INSERT语句时一定要写把字段列表写出来，否则会出现下列错误提示：

错误代码： 1064 
    1064 - bad insert sql (sharding column:ID not provided,INSERT INTO tb_test (1, 'java')

我们试着插入一些数据

INSERT INTO tb_test(id,title) VALUES(1,'java1');
    INSERT INTO tb_test(id,title) VALUES(2,'java2');
    INSERT INTO tb_test(id,title) VALUES(3,'java3');

我们会发现这些数据被写入到第一个节点中了，那什么时候数据会写到第二个节点中呢？  
我们插入下面的数据就可以插入第二个节点了

INSERT INTO tb_test(id,title) VALUES(5000001,'java5000001');

因为我们采用的分片规则是每节点存储500万条数据，所以当ID大于5000000则会存储到第二个节点上。

目前只设置了三个节点，如果数据大于1000万条，会怎么样呢？执行下列语句测试一下

INSERT INTO tb_test(id,title) VALUES(10000001,'java10000001');

很明显插入到第三个节点上。  
测试结果  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 10]

##### Mycat分片规则 #####

`mycat/conf/rule.xml`用于定义分片规则，这里说一下两种常见的分片规则  
1、按主键范围分片 `rang-long`  
在配置文件中找到

schema.xml 
    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
    	<table name="tb_test" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />
    </schema>
    
    rule.xml
    <tableRule name="auto-sharding-long">
    	<rule>
    		<columns>id</columns>
    		<algorithm>rang-long</algorithm>
    	</rule>
    </tableRule>

`tableRule` 是定义具体某个表或某一类表的分片规则名称`columns`用于定义分片的列 algorithm代表算法名称，接着找rang-long的定义。

<function name="rang-long"
    	class="org.opencloudb.route.function.AutoPartitionByLong">
    	<property name="mapFile">autopartition-long.txt</property>
    </function>

Function用于定义算法`mapFile`用于定义算法需要的数据，打开 `mycat/conf/autopartition-long.txt`。

# range start-end ,data node index
    # K=1000,M=10000.
    0-500M=0
    500M-1000M=1
    1000M-1500M=2

这里可以看到最大的ID只能是 1500万，如果需要添加更多数据可以修改配置，如果超过了插入会出现错误。

这里插入一条ID为2000M
    INSERT INTO tb_test(id,title)VALUES(20000000,"java20000000");
    出现错误
    1064 - can't find any valid datanode :TB_TEST -> ID -> 20000000
    意思找不到2000M这个节点，因为没有配置这个节点。

2、一致性哈希murmur  
当我们需要将数据平均分在几个分区中，需要使用一致性hash规则。  
找到function的name为murmur 的定义，将count属性改为3，因为我要将数据分成3片。

rule.xml
    <function name="murmur"
    	class="org.opencloudb.route.function.PartitionByMurmurHash">
    	<property name="seed">0</property>
    	<property name="count">3</property>
    	<property name="virtualBucketTimes">160</property>
    	
    	
    </function>

再配置文件中可以找到表规则定义

rule.xml
    <tableRule name="sharding-by-murmur">
    	<rule>
    		<columns>id</columns>
    		<algorithm>murmur</algorithm>
    	</rule>
    </tableRule>

这个规则指定的列是id，如果数据库表的主键不是Id，是其它字段可以重新定义一个tableRule。

<tableRule name="sharding-by-murmur-order">
    	<rule>
    		<columns>order_id</columns>
    		<algorithm>murmur</algorithm>
    	</rule>
    </tableRule>

在 mycat/conf/schema.xml 中配置逻辑表时，指定规则为上面定义好的 `sharding-by-murmur-order`。

name 逻辑为表名
    dataName 对应数据库
    rule 对应刚刚新建好的规则
    <table name="tb_order" dataNode="dn1,dn2,dn3" rule="sharding-by-murmur-order" />

重启mycat，下面创建一个 tb\_order 表添加一些数据进行测试。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 11]  
可以看到数据表的基本是平均分布插入到不同的表，每张表相关数据就是一到两条。

##### 最后感谢阅读，讲得不好的地方，有问题等欢迎留言，看到第一时间修改和答复。 #####

#### 注意点 ####

1、修改配置文件后记得重启服务。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70]: /images/20220411/b161eb3f73a2491d8424b2a8d2ceaf3b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 1]: /images/20220411/80e1f17ea5b74853853242e6cd32cee6.png
[Link 1]: https://pan.baidu.com/s/1cX5j-iJMl6984SqeDIytDw
[20181204222036207.png]: /images/20220411/5853e6e294df461e96fcd6c8e760325a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 2]: /images/20220411/ea3e6553666642aabb8d422e8b365311.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 3]: /images/20220411/4eabc086688f4dce9f628e7692fc2231.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 4]: /images/20220411/c8f1dd6ee51246d2bbe05109d1d59f38.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 5]: /images/20220411/f27de1953cba47af890efb34196f92cc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 6]: /images/20220411/3d1dc33885734fc680d02d6748300e6b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 7]: /images/20220411/db7811e52dff4d67a956b6bbb44b2927.png
[20181204230056922.png]: /images/20220411/9043b9f5e0ce460cb6700487bceb0b78.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 8]: /images/20220411/543ae7c7470f4eb9b54bb4a6dfe5717c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 9]: /images/20220411/66c05895e61d4eeaabc3cb1d87c7507c.png
[20181204233637970.png]: /images/20220411/b00acebb9e2d432daef52761719d4600.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 10]: /images/20220411/ebdb9c1066274f938b857395026c674e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIyMDY3NDY5_size_16_color_FFFFFF_t_70 11]: /images/20220411/ae577d7f95024b51877e6505eecd4f64.png