Fate Serving安装部署

秒速五厘米 2022-09-03 04:26 225阅读 0赞

### 文章目录 ###

*  摘要
 *  架构图
 *  工作时序图
 *  部署
 *   *  安装JDK
     *  安装zookeeper
     *  安装serving-server
     *  安装serving-proxy
     *  安装serving-admin
 *  测试
 *   *  训练模型
     *  发布模型
     *  \*\*绑定模型\*\*
     *  预测测试

# 摘要 #

fate-serving是FATE的在线部分，在使用FATE进行联邦建模完成之后，可以使用fate-serving进行在线联合预测。 FATE-SERVING 2.0 支持的特性：

1.  单笔预测，2.0.\*版本guest方与host方将并行计算，从而降低了耗时。
2.  批量预测，2.0.\*版本开始引入的新的特性，一次请求可以批量提交一批需要预测的数据，极大地提高了吞吐量。
3.  并行计算，在1.3.\*版本中guest方的预测与host方的预测是串行，从2.0版本开始guest方与host方将采用并行预测的方式，各方预测时可以根据特征数量拆分成子任务再并行计算。
4.  可视化的集群操作界面，引入新的组件serving-admin，它将提供集群的可视化操作界面，包括模型的管理、流量的监控、配置的查看、服务的管理等操作。
5.  新的模型持久化/恢复方式，在serving-server重启时1.3.*版本采用了回放推送模型的请求的方式来实例重启时恢复模型 ，2.0.* 版本使用了直接恢复内存数据的方式恢复模型。
6.  java版的SDK，使用该SDK可以使用FATE-SERVING带有的服务治理相关的功能，如服务自动发现、路由等功能。
7.  新的扩展模块，将需要用户自定义开发的部分（如：host方的特征获取adaptor接口开发）放到该模块，从而与核心源码分离。
8.  支持多种缓存方式，FATE-SERVING在1.3.\*版本强依赖redis，从2.0.\*版本开始，不再强依赖redis。可以选择不使用缓存、使用本地内存缓存、使用redis。
9.  更改内部预测流程，重构了核心代码，去除调了前后处理等组件，使用了统一的异常处理。算法组件不再跟rpc接口紧耦合。
10. 提供命令行工具，能够查询配置、模型信息

# 架构图 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70_pic_center]

部署架构  
fate-serving 的部署架构图如下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70]

如上图所示，整个集群需要有几个组件

**serving-server**

serving-server用于实时处理在线预测请求,理论上serving-server需要从fate-flow加载模型成功之后才能对外提供服务。在FATE中建好模型之后，通过fate-flow的推送模型脚本可以将模型推送至serving-server。 推送成功之后，serving-server会将该模型相关的预测接口注册进zookeeper ，外部系统可以通过服务发现获取接口地址并调用。同时本地文件持久化该模型,以便在serving-server实例在集群中某些组件不可用的情况下，仍然能够从本地文件中恢复模型。

**serving-proxy**

serving-proxy 是serving-server的代理，对外提供了grpc接口以及http的接口，主要用于联邦预测请求的路由转发以及鉴权。在离线的联邦建模时，每一个参与方都会分配一个唯一的partId。serving-proxy维护了一个各参与方partId的路由表，并通过路由表中的信息来转发请求。

**serving-admin**

serving-admin 提供在线集群的可视化操作界面，可以查看管理集群中各节点的配置以及状态、查看模型列表、流量的调控、并能提供一定的监控的功能。

**zookeeper**

zookeeper 用户各组件的信息同步协调以及服务注册于发现

# 工作时序图 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 1]

# 部署 #

## 安装JDK ##

**在目标服务器（192.168.65.161 192.168.65.162 ）root用户下执行**

vi /etc/profile

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 2]  
在上图红线行这前插入以下内容

export JAVA_HOME=/data/projects/fate/common/jdk/jdk-8u192
    export JRE_HOME=${JAVA_HOME}
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH

插入后如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 3]  
然后保存退出，执行如下命令：

source /etc/profile
    java -version

看到如下信息就说明执行成功了，再按照相同的步骤完成对192.168.65.162的配置。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 4]

## 安装zookeeper ##

**在目标服务器（192.168.65.161 192.168.65.162 ）app用户下执行**  
注意：切换为app用户  
**（1）** 创建安装目录并下载zookeeper软件及解压

cd  /data/projects
    mkdir zookeeper
    wget  https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.6.2/apache-zookeeper-3.6.2-bin.tar.gz
    tar xzf apache-zookeeper-3.6.2-bin.tar.gz

如果电脑没有安装wget，还需要安装wget，执行命令：

yum install wget

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 5]  
如果出现下载异常的问题，大家可以使用迅雷下载，把地址复制到迅雷里面，就可以下载下来。  
![在这里插入图片描述][84ebdc0436b94b3eb744373308e8cb0f.png]  
下载完成后再导进虚拟机里面。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 6]

**（2）** 配置zookeeper

cd  /data/projects/apache-zookeeper-3.6.2-bin/conf
    mv zoo_sample.cfg zoo.cfg
    vi  zoo.cfg

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 7]  
改动就两个地方，第一个地方是路径：dataDir=/data/projects/zookeeper  
第二个地方是在末尾增加：admin.enableServer=false  
**（3）** 启动zookeeper

cd /data/projects/apache-zookeeper-3.6.2-bin/bin/
    sh ./zkServer.sh start

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 8]  
如上图，看到这样的状态就说明zookeeper启动成功了。接下来改干啥呢？当然是配置192.168.65.162了。千万别忘了！！！

## 安装serving-server ##

**在目标服务器（192.168.65.161 192.168.65.162 ）app用户下执行**

**(1)** 安装unzip解压软件

sudo yum -y install unzip

**(2)** 安装server  
下载软件

cd /data/projects
    wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/fate-serving-server-2.0.5-release.zip

创建目录并解压下载的软件

mkdir fate-serving
    mkdir fate-serving/server
    unzip fate-serving-server-2.0.5-release.zip -d fate-serving/server/

**(3)** 修改配置文件并启动服务

vi fate-serving/server/conf/serving-server.properties

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 9]  
按照上图标注的红框修改，然后退出保存。注意第一个红框处host修改为192.168.65.161，guest修改为192.168.65.162。  
使用如下命令启动server服务：

cd /data/projects/fate-serving/server
    sh service.sh restart

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 10]  
出现上图的log说明启动成功了

## 安装serving-proxy ##

**在目标服务器（192.168.65.161 192.168.65.162 ）app用户下执行**

**(1)** 下载软件并解压

cd /data/projects
    wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/fate-serving-proxy-2.0.5-release.zip
    mkdir fate-serving/proxy
    unzip fate-serving-proxy-2.0.5-release.zip -d fate-serving/proxy/

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 11]

(2)修改配置文件并启动

vi fate-serving/proxy/conf/application.properties

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 12]  
按照上图中修改，说明：第一个红框中配置的事Party ID，host是10000，guest是9999。第三个红框中的两个字段被注释了，要打开。  
然后执行下面的命令启动服务

cd fate-serving/proxy/
    sh service.sh restart

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 13]  
出现上图的log说明启动成功了  
**（3）** 修改host的proxy服务route-table

cd fate-serving/proxy/conf/
    vi route_table.json

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 14]

{ 
      "route_table": { 
        "default": { 
          "default": [
            { 
              "ip": "192.168.65.161",
              "port": 8000,
              "useSSL": false
            }
          ]
        },
        "10000": { 
          "serving": [
            { 
              "ip": "192.168.65.161",
              "port": 8000
            }
          ]
        }
      },
      "permission": { 
        "default_allow": true
      }
    }

**（4）** 修改guest的proxy服务route-table  
由于guest的请求只会向外发送，所以只需要配置出口ip端口就好， 如下代码所示只需要配置default转发规则，则会将所有请求转发至出口ip

{ 
      "route_table": { 
        "default": { 
          "default": [
            { 
              "ip": "192.168.65.161",
              "port": 8869
            }
          ]
        },
        "9999": { 
          "serving": [
            { 
              "ip": "192.168.65.162",
              "port": 8000
            }, { 
              "ip": "192.168.65.162",
              "port": 8001
            }
          ]
        }
      },
      "permission": { 
        "default_allow": true
      }
    }

## 安装serving-admin ##

**在目标服务器（192.168.65.161 192.168.65.162 ）app用户下执行**

**(1)** 下载软件并解压

cd /data/projects
    wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/fate-serving-admin-2.0.5-release.zip
    mkdir fate-serving/admin
    unzip fate-serving-admin-2.0.5-release.zip -d fate-serving/admin/

放一张图，虽然没有啥用，就是为了看看log  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 15]

**(2)** 修改配置文件并启动

vi fate-serving/admin/conf/application.properties

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 16]  
只修改红框标注的地方，其他的不用改。**注意host和guest都要修改。**  
然后启动服务，执行如下命令：

cd fate-serving/admin/
    sh service.sh restart

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 17]  
出现上图的log说明启动成功了。  
打开浏览器输入http://192.168.65.161:8350/  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 18]  
用户名和密码均输入admin后登录看到如下页面  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 19]

# 测试 #

## 训练模型 ##

在guest机上以app用户登录执行以下命令训练模型，这将会使用hetero\_lr算法训练一个模型出来。

source /data/projects/fate/bin/init_env.sh
    cd /data/projects/fate/examples/min_test_task/
    python run_task.py -m 1 -gid 9999 -hid 10000 -aid 10000 -f fast

![image-20210806101832615][]

命令执行后可在浏览器输入http://192.168.65.162:8080/\#/history打开FATEBoard查看建模任务运行情况。

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gCnoQggO-1628237142717)(image-20210806102840046.png)\]

将会陆续产生4个任务，等待4个任务status都变为success后开始下一步发布模型。

## 发布模型 ##

在guest机的FATEBoard点击上步中第一个运行的job，进入job详情页。

![image-20210806103231348][]

![image-20210806103510499][]

在job详情页，先点击位置1处，再点击位置2处进入查看模型信息页面。在查看模型信息页面点击tab页log，搜索寻找到model\_id和model\_version的值并记录下来。

![image-20210806103656868][]

执行如下命令：

source /data/projects/fate/bin/init_env.sh
    cd /data/projects/fate/python/fate_flow
    vi examples/publish_load_model.json

![image-20210806140334895][]

将记录的model\_id和model\_version的值填入上图第三个红框处对应位置后保存退出，第一个红框修改为发起者的party id，guest的party id是9999，role里面也修改对应的party id。然后执行以下命令。

python fate_flow_client.py -f load -c examples/publish_load_model.json

![image-20210806140410617][]

看到上图所示则模型发布成功。

## **绑定模型** ##

vi examples/bind_model_service.json

![image-20210806141311149][]

按上图修改内容，service\_id的值可以自定义，并将记录的model\_id和model\_version的值填入上图红框处对应位置后保存退出，然后执行以下命令。

python fate_flow_client.py -f bind -c examples/bind_model_service.json

![image-20210806141450388][]

## 预测测试 ##

在浏览器输入地址http://192.168.65.162:8350/并以admin/admin登录。

![image-20210806141900449][]打开 Tab页 Models可看到刚才发布并绑定的service\_id为mytest的模型。

![image-20210806143051408][]然后点击Tab页Service，可查看到Environment列有名字为test的三行数据。其中name为“serving/test/inference”的是单次预测接口，“serving/test/batchInference”是批量预测接口。点击单次预测接口Operation的Verify按钮以输入测试数据进行预测。

![image-20210806143616462][]

在弹出的对话框中输入以下数据后按Verify按钮：

![image-20210806143651606][]

参考文件  
https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/FATE-SERVING-2.0.html

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70_pic_center]: /images/20220829/b48840ee58be4f1e99ded078686c06e7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70]: /images/20220829/9278078ba6d747b1893d7cd89c39ecc5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 1]: /images/20220829/a10a55e1056047ea92466aa60cc1f7f1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 2]: /images/20220829/24c906e961094b1589e42681153aeee3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 3]: /images/20220829/ad91e02493ed47aeb4aa8ffb1dad7080.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 4]: /images/20220829/5990b451c7f5466297e886d05732e915.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 5]: /images/20220829/2b65fbe9723b4ec0903fedbe003a80bb.png
[84ebdc0436b94b3eb744373308e8cb0f.png]: /images/20220829/8bd986c5a5204971bb8d881437db0eb1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 6]: /images/20220829/b53b6abafe214b37b7f465311f58170f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 7]: /images/20220829/d6044a8af38247c3968ffc9b0301e254.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 8]: /images/20220829/06d286be4c384b8dbec9f64dcf84c7b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 9]: /images/20220829/5fb13fbc2d684bd2a13da16f37940eb1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 10]: /images/20220829/120f6a1ba0a24302b922a453c50977c2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 11]: /images/20220829/57a9b0029b3747949d106d51058cd761.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 12]: /images/20220829/492dcd8b242144d5bc0fdc79fa261cfd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 13]: /images/20220829/f5bb2b407a674b49852b46773bec755d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 14]: /images/20220829/67608c6731534102b15fc41e568c3b55.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 15]: /images/20220829/db364cfdb3cf4d0ca571e5614075d10c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 16]: /images/20220829/944cef735d82402283251f77a85dc8bf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 17]: /images/20220829/a40501b5e6a74c2a9e9782d26e57d566.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 18]: /images/20220829/789ad0a6bf3d4b94abb7dff0952f7f88.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hoaGhoaGhoaGh3d3d3d3d3d3d3_size_16_color_FFFFFF_t_70 19]: /images/20220829/27fa3e87625a4cf49132be4c46bdbc5d.png
[image-20210806101832615]: /images/20220829/7b45bfc284b94661a22694b57548a17f.png
[image-20210806103231348]: /images/20220829/3ed6b10c0d794ada869e2a3eeaf9e5d6.png
[image-20210806103510499]: /images/20220829/507c2354abda48948dd0710f9abd7ea2.png
[image-20210806103656868]: /images/20220829/66c85be19d7a46588af6405a8a391d7b.png
[image-20210806140334895]: /images/20220829/a3bc11b76c014d51b52e9d4867f183b5.png
[image-20210806140410617]: /images/20220829/b96747f7abcf46acb17a812e7a29d9e9.png
[image-20210806141311149]: /images/20220829/3165a698bbf64b17a0662e7496e2a27e.png
[image-20210806141450388]: /images/20220829/5cb82b43a57845f3b6ab81ce56a52d4d.png
[image-20210806141900449]: /images/20220829/fd9c561c3a0b47e3a9cc57d6f0da090c.png
[image-20210806143051408]: /images/20220829/f24e8a7a25dc464d9e2679760170ce74.png
[image-20210806143616462]: /images/20220829/fa66265dd49f4df8b3da0d459ecfa0ec.png
[image-20210806143651606]: /images/20220829/76d1983c1ff147b287f782af4ab13754.png