机器学习入门 | 【02】线性回归

た入场券 2022-08-29 05:57 422阅读 0赞

### 文章目录 ###

*   *   *  一、线性回归
         *   *  1、简介
             *   *  1.1 应用场景
                 *  1.2 定义
                 *  1.3 线性回归的特征与目标的关系分析
                 *   *  1.3.1 线性关系
                     *  1.3.2 非线性关系
             *  2、线性回归API
             *   *  2.1 API
                 *  2.2 步骤分析
                 *  2.3 案例
             *  3、求导
             *  4、损失和优化
             *   *  4.1 损失函数
                 *  4.2 优化算法
                 *   *  4.2.1 正规方程
                     *  4.2.2 梯度下降
                     *  4.2.3 梯度下降对比正规方程
                     *  4.2.4 API
             *  5、梯度下降
             *   *  5.1 全梯度下降（FG）
                 *  5.2 随机梯度下降（SG）
                 *  5.3 小批量梯度下降算法（mini-bantch）
                 *  5.4 随机平均梯度下降算法（SAG）
                 *  5.5 算法比较
                 *  5.6 梯度下降优化算法
                 *   *  5.6.1 动量法
                     *  5.6.2 Nesterov加速梯度下降法
                     *  5.6.3 Adagrad
                     *  5.6.4 Adadelta
                     *  5.6.5 RMSProp
                     *  5.6.6 Adam
             *  6、线性回归API
             *   *  6.1 \`sklearn.linear. \_model.LinearRegression(fit jintercept=True)\`
                 *  6.1 \`sklearn.linear. model.SGDRegressor(loss="squared\_ loss", fit\_ jintercept=True, learning. \_rate='invscaling', eta0=0.01)\`
             *  7、回归性能评估
             *   *  7.1 API
             *  8、案例
             *  9、欠拟合和过拟合
             *   *  9.1 定义
                 *  9.2 原因及如何解决
                 *  9.3 正则化(限制高次项)
                 *   *  9.3.1 类别
                     *  9.3.2 正则化线性模型
             *  10、维灾难
             *   *  10.1 介绍
             *  11、岭回归
             *   *  11.1 \`sklearn.linear\_ model.Ridge(alpha=1.0, fit. fit\_intercept=True,solver="auto", normalize=False)\`
                 *  11.2 正则化程度影响
             *  12、模型保存与加载
             *   *  12.1 API

### 一、线性回归 ###

#### 1、简介 ####

##### 1.1 应用场景 #####

>  *  房价预测
>  *  销售额度预测
>  *  货款额度预测

##### 1.2 定义 #####

>  *  **定义**：利用回归方程对一个或多个自变量（特征）和因变量（目标值）之间关系进行建模；
>  *  **特点**：一个自变量为变量回归，多个自变量为多元回归；

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70]

##### 1.3 线性回归的特征与目标的关系分析 #####

> 具有线性和非线性关系。

###### 1.3.1 线性关系 ######

**单变量线性关系**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 1]  
**多变量线性关系**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 2]

###### 1.3.2 非线性关系 ######

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 3]

#### 2、线性回归API ####

##### 2.1 API #####

`sklearn.linear_model.LinearRegression()`

> `LinearReggression.coef_`：回归系数；

##### 2.2 步骤分析 #####

>  *  获取数据集
>  *  数据基本处理
>  *  特征工程
>  *  机器学习
>  *  模型评估

##### 2.3 案例 #####

# -*- coding: utf-8 -*-
    """ @Time : 2021/7/31 16:28 @Author : XXX @Site : @File : linearRegressionDemo.py @Software: PyCharm """
    from sklearn.linear_model import LinearRegression
    
    x = [
        [80, 86],
        [82, 80],
        [85, 78],
        [90, 90],
        [86, 82],
        [82, 90],
        [78, 80]
    ]
    y = [84.2, 80.6, 80.1, 90, 83.2,87.6,79.4]
    
    estimator = LinearRegression()
    
    estimator.fit(x,y)
    
    _coef = estimator.coef_
    print(_coef)

#### 3、求导 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 5]

#### 4、损失和优化 ####

##### 4.1 损失函数 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 6]

>  *  yi为第i个训练样本的真实值；
>  *  h(xi)为第i个训练样本特征值组合预测函数；
>  *  又称最小二乘法

>  *  y为真实矩阵，X是特征矩阵，w是权重矩阵

##### 4.2 优化算法 #####

> **目的**：找到最小损失对应的w值；

###### 4.2.1 正规方程 ######

> **公式**：`w = (X^T * X)^-1 * X^T * y`
> 
>  *  X为特征值矩阵，y为目标值矩阵；
>  *  缺点：当特征过多过复杂时，求解速度太慢且得不到结果。只适合样本和特征较少的。

**推导**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 7]

###### 4.2.2 梯度下降 ######

> 原理：寻找最陡峭的位置，向高度向下的地方走。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 8]  
**概念**

>  *  在单变量函数中，梯度就是函数的微分，代表函数在某个给定的切线的斜率；
>  *  在多变量函数值，梯度是一个向量，梯度的方向是给定点上升最快的方向，后沿着梯度方向走。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 9]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 10]  
**公式**：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 11]

>  *  `α`：学习率或步长，控制每一步的距离。保证不大不小，太大易错过最低点，太小速度太慢；
>  *  `梯度加个负号`：梯度方向是上升最快的地方，我们要向下走，反向的所以要加个负号；

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 12]

###### 4.2.3 梯度下降对比正规方程 ######

<table> 
 <thead> 
  <tr> 
   <th>梯度下降</th> 
   <th>正规方程</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>需要选择学习率</td> 
   <td>不需要</td> 
  </tr> 
  <tr> 
   <td>需要迭代求解</td> 
   <td>一次运算得出</td> 
  </tr> 
  <tr> 
   <td>特征数量较大可用</td> 
   <td>需计算方程，时间复杂度O(n<sup>3</sup>)</td> 
  </tr> 
 </tbody> 
</table>

###### 4.2.4 API ######

**小规模数据**：

> `LinearRegression`：不能解决拟合问题，岭回归；

**大数据规模**：

> `SGDRegressor`

#### 5、梯度下降 ####

##### 5.1 全梯度下降（FG） #####

> 计算所有样本的误差平均值，作为目标函数。

##### 5.2 随机梯度下降（SG） #####

> 每次只选择一个样本进行计算。

##### 5.3 小批量梯度下降算法（mini-bantch） #####

> 选择一部分数据。

##### 5.4 随机平均梯度下降算法（SAG） #####

> 会给每一个样本都维持一个平均值。

##### 5.5 算法比较 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 13]

>  *  FG由于它每轮更新都要使用全体数据集，故花费时间成本最多，内存存储最大；
>  *  SAG优化速度较慢

##### 5.6 梯度下降优化算法 #####

###### 5.6.1 动量法 ######

>  *  是SAG的姐妹版；
>  *  SAG是对过去K次的梯度求平均值；
>  *  SAG是对过去所有的梯度求加权平均。

###### 5.6.2 Nesterov加速梯度下降法 ######

>  *  类似于一个`智能球`，在重新遇到`斜率上升`时候，能够知道`减速`。

###### 5.6.3 Adagrad ######

>  *  让`学习率使用参数`；
>  *  对于出现`次数较少`的特征，我们对其采用`更大`的学习率，对于出现`次数较多`的特征，我们对其采用`较小`的学习率。

###### 5.6.4 Adadelta ######

>  *  Adadelta是Adagrad的一 种扩展算法，以`处理Adagrad学习速率单调递减`的问题。

###### 5.6.5 RMSProp ######

>  *  其结合了梯度`平方的指数移动平均数`来调节`学习率`的变化。
>  *  能够在不稳定(Non-Stationary) 的目标函数情况下进行很好地收敛。

###### 5.6.6 Adam ######

>  *  结合AdaGrad和RMSProp两种优化算法的优点。
>  *  是一种`自适应`的学习率算法

#### 6、线性回归API ####

##### 6.1 `sklearn.linear. _model.LinearRegression(fit jintercept=True)` #####

>  *  通过正规方程优化
>  *  `fit_ _intercept`: 是否计算偏置
>  *  `LinearRegression.coef` :回归系数
>  *  `LinearRegression.intercept` :偏置

##### 6.1 `sklearn.linear. model.SGDRegressor(loss="squared_ loss", fit_ jintercept=True, learning. _rate='invscaling', eta0=0.01)` #####

>  *  `SGDRegressor`类实现了随机梯度下降学习，它支持不同的`loss函数`和`正则化惩罚项`来拟合线性回  
>     归模型。
>  *  `loss`:损失类型
>     
>      *  `loss="squared_ loss"`: 普通最小二乘法
>  *  `fit _intercept`:是否计算偏置
>  *  `learning_ rate` : string, optional
>     
>      *  学习率填充
>      *  `constant`: eta = eta0
>      *  `optimal`: eta = 1.0/ (alpha \* (t + to)) \[default\]
>      *  `invscaling`: eta = eta0 / pow(t, power, \_t)
>      *  `power_ _t=0.25`:存在父类当中
>      *  对于一个常数值的学习率来说，可以使用learning. \_rate=‘constant’，并使用eta0来指定学  
>         习率。
>  *  `SGDRegressor.coef_` :回归系数
>  *  `SGDRegressor.intercept` :偏置

#### 7、回归性能评估 ####

![> -][-]

>  *  yi：为预测值；
>  *  y\-：为真实值。

##### 7.1 API #####

`sklearn.metrics.mean_squared_error(y_true, y_pred)`：

>  *  均方误差回归损失；
>  *  `y_true`：真实值；
>  *  `y_pred`：预测值；
>  *  `return`：浮点数结果。

#### 8、案例 ####

# -*- coding: utf-8 -*-
    """ @Time : 2021/08/02 16:24 @Author : XXX @Site : @File : 2.波士顿房价.py @Software: PyCharm """
    from sklearn.datasets import load_boston
    from sklearn.model_selection import train_test_split
    from sklearn.preprocessing import StandardScaler
    from sklearn.linear_model import LinearRegression, SGDRegressor
    from sklearn.metrics import mean_squared_error
    
    
    def model1():
        """线性回归模型"""
        # 获取数据
        data = load_boston()
        # 数据基本处理
        x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2)
        # 特征工程
        stand = StandardScaler()
        x_train = stand.fit_transform(x_train)
        x_test = stand.fit_transform(x_test)
        # 建立模型
        estimator = LinearRegression()
        estimator.fit(x_train, y_train)
        # 模型评估
    
        pre = estimator.predict(x_test)
        print("预测值：", pre)
    
        score = estimator.score(x_test, y_test)
        print("准确率：", score)
    
        # 均方误差
        ret = mean_squared_error(y_test, pre)
        print("均方误差是", ret)
    
    def model2():
        """梯度下降模型"""
        # 获取数据
        data = load_boston()
        # 数据基本处理
        x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.2)
        # 特征工程
        stand = StandardScaler()
        x_train = stand.fit_transform(x_train)
        x_test = stand.fit_transform(x_test)
        # 建立模型
        """ squared_loss：指的是普通的最小二乘拟合。 huber：修改了squared_loss，减少了对异常值的关注经过一段距离后，由平方转换为线性损耗进行校正ε。 epsilon_insensitive：忽略小于epsilon的错误线性的过去; 这是SVR中用到的损失函数。 squared_epsilon_insensitive：是相同的，但成为平方损失过去的容差。 """
        estimator = SGDRegressor(learning_rate='constant', random_state=20)
        estimator.fit(x_train, y_train)
        # 模型评估
    
        pre = estimator.predict(x_test)
        print("预测值：", pre)
    
        score = estimator.score(x_test, y_test)
        print("准确率：", score)
    
        # 均方误差
        ret = mean_squared_error(y_test, pre)
        print("均方误差是", ret)
    
    if __name__ == '__main__':
        model1()
        model2()

#### 9、欠拟合和过拟合 ####

##### 9.1 定义 #####

> **过拟合**：一个假设在训练数据上能够获得`比其他假设更好的拟合`，但是在`测试数据集`上却`不能很好地 拟合`数据，此时认为这个假设出现了`过拟合`的现象。(模型过于`复杂`)。

> **欠拟合**：一个假设在训练数据上`不能获得更好的拟合`，并且在测试数据集上也不能很好地拟合数据,  
> 此时认为这个假设出现了`欠拟合`的现象。(模型过于`简单`)。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 14]

##### 9.2 原因及如何解决 #####

**欠拟合原因以及解决办法**

>  *  原因：学习到数据的特征过少。
>  *  解决办法：
>     
>      *  `添加其他特征项`，有时候我们模型出现欠拟合的时候是因为`特征项不够导致`的，可以添加其他特征项来很好地解决。例如，“组合"、 “泛化"、“相关性”三类特征是特征添加的重要手段，无论在什么场景，都可以照葫芦画瓢，总会得到意想不到的效果。除上面的特征之外，“上下文特征”、“平台特征"等等，都可以作为特征添加的首选项。
>      *  `添加多项式特征`，这个在机器学习算法里面用的很普遍，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强。

**过拟合原因以及解决办法**

>  *  原因：原始`特征过多`，存在一些`嘈杂特征`， 模型过于复杂是因为模型尝试去兼顾各个测试数据点。
>  *  解决办法：
>     
>      *  `重新清洗数据`，导致过拟合的一一个原因也有可能是`数据不纯导致`的，如果出现了过拟合就需要我们重新清洗数据。
>      *  `增大数据的训练量`，还有一个原因就是我们用于训练的`数据量太小导致`的，`训练数据占总数据的比例过小`。
>      *  `正则化`。
>      *  减少特征维度，防止`维灾难`。

##### 9.3 正则化(限制高次项) #####

>  *  在学习的时候，数据提供的特征有些`影响模型复杂度`或者这个`特征的数据点异常较多`，所以算法在学习的  
>     时候`尽量减少这个特征的影响`(甚至删除某个特征的影响)，这就是正则化。
>  *  调整时候，算法并不知道某个特征影响，而是去调整参数得出优化的结果。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 15]

###### 9.3.1 类别 ######

**L2正则化**

>  *  作用：可以使得其中一些W的都很小，都接近于0，`削弱某个特征的影响`；
>  *  优点：`越小的参数说明模型越简单`，越简单的模型则越不容易产生过拟合现象；
>  *  `Ridge`回归。

**L1正则化**

>  *  作用：可以使得其中一些`W的值直接为0`，`删除这个特征的影响`；
>  *  `LASSO`回归。

###### 9.3.2 正则化线性模型 ######

>  *  Ridge Regression岭回归
>  *  Lasso回归
>  *  Elastic Net弹性网络
>  *  Early stopping

**Ridge Regression岭回归**

>  *  岭回归是线性回归的正则化版本，在原来的线性回归的cost function中添加正则项。  
>     也就是系数前面加上平方项，在限制系数的大小，α值越小，系数越大。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 16]

> 在达到拟合数据的同时，使模型权重尽可能小的目的，岭回归代价函数：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 17]

> α=0：岭回归退化为线性回归。

**Lasso回归**  
![在这里插入图片描述][784b210c783742de97092929410ebca4.png]

>  *  该代价函数中`θi=0`处是不可导的；
>  *  可在该处使用一个`次梯度向量`。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 18]

**Elastic Net弹性网络**

> 在岭回归和Lasso回归进行折中，通过混合比r进行控制。
> 
>  *  `r = 0`：弹性网络变为`岭回归`;
>  *  `r = 1`：弹性网络变为`Lasso回归`。

![在这里插入图片描述][79a9eb737e7d45c7bcc9bf7358738a8a.png]

**Early stopping**

#### 10、维灾难 ####

##### 10.1 介绍 #####

> 随着维度增加，分类器性能逐步上升，达到某点后，其性能逐渐下降。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 19]

#### 11、岭回归 ####

##### 11.1 `sklearn.linear_ model.Ridge(alpha=1.0, fit. fit_intercept=True,solver="auto", normalize=False)` #####

>  *  具有L2正则化的线性回归；
>  *  `alpha`：正则化力度， 也叫λ；
>     
>      *  λ取值：0~1 1~10；
>  *  `solver`：会 根据数据自动选择优化方法；
>     
>      *  `sag`：如果数据集、特征都比较大，选择该`随机梯度下降优化`；
>  *  `normalize`：数据是否进行标准化；
>     
>      *  `normalize=False`:可以在fit之 前调用`preprocessing.StandardScaler`标准化数据；
>  *  `Ridge.coef_` ：回归权重；
>  *  `Ridge.intercept`：回归偏置；

Ridge方法相当于`SGDRegressor(penalty='l2', loss="squared_ loss")`，只不过SGDRegressor实现 了一  
个普通的随机梯度下降学习，推荐使用Ridge(实现了SAG)：

>  *  `sklearn.inear. _model.RidgeCV( BaseRidgeCV, RegressorMixin)`
>  *  具有`L2正则化`的线性回归，可以进行`交叉验证`
>  *  coef\_ ：回归系数

##### 11.2 正则化程度影响 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 20]

>  *  正则化力度越大，权重系数越小；
>  *  正则化力度越小，权重系数越大；

#### 12、模型保存与加载 ####

##### 12.1 API #####

`sklearn.eaternals.joblib`

>  *  保存：joblib.dump(estimator, ‘test.pkl’)
>  *  加载：joblib.load(‘test.pkl’)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70]: /images/20220829/ddbe3f4bd56d407f98bddd1ec5d16a14.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 1]: /images/20220829/019f3638c172418888f5015db37eb4b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 2]: /images/20220829/fac585472b774d8e89a13cd243e02bc1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 3]: /images/20220829/0b961b8b0df14a778e06049dd340df2c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 4]: /images/20220829/526645a104fe41938bde8a809f46a731.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 5]: /images/20220829/ae45e71a3c6b4b38a1f6e99cb2ef08ab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 6]: /images/20220829/c8db07ec3ba34cb481240c23e02931de.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 7]: /images/20220829/7152fb94e255436590f202eff2289906.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 8]: /images/20220829/f149cf11dd444d109c37c10e19253ec0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 9]: /images/20220829/9f6b8dfd6b904b09910bd331decfa47b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 10]: /images/20220829/d0dc8f8bbc014d1eb3929fcdf10d5159.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 11]: /images/20220829/9e467fd5ff894b6895c4df8be6b21ccf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 12]: /images/20220829/148287adb1494b04974339500aaf7a0e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 13]: /images/20220829/a40935f3c236402b95303615dc903978.png
[-]: /images/20220829/658eeb808a90436489416135d710adb6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 14]: /images/20220829/e8c72c5bb5754231810cf57f61802b16.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 15]: /images/20220829/e8beebd95a8447a38e81ebd25c8f1fcf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 16]: /images/20220829/f64e4647f97e42778d83c0fd47c2dbac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 17]: /images/20220829/162c8e2e513e43b78190385abca365fa.png
[784b210c783742de97092929410ebca4.png]: /images/20220829/f957a69385c44f0e9be4a6648d840650.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 18]: /images/20220829/6f5b53ff915149988239a33331814b62.png
[79a9eb737e7d45c7bcc9bf7358738a8a.png]: /images/20220829/60152d836da64ad7a92f05aa6aa630e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 19]: /images/20220829/a0f27b61bcb5400ca9aafd6dee3ebc9c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NTkyNjU0Nw_size_16_color_FFFFFF_t_70 20]: /images/20220829/deb32fe511324640b2e1e7fca155ca53.png