梯度下降算法

矫情吗；* 2022-01-27 12:04 466阅读 0赞

# ![20191009191333910.png][][日萌社][Link 1] #

[人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）][AI_Keras PyTorch MXNet TensorFlow PaddlePaddle]

--------------------

1.梯度下降
    	1.梯度下降算法的意义：可以将线性回归的代价函数J实现最小化，当然梯度下降还可以最小化其他函数。
    	2.下面的例子：使用梯度下降算法最小化 任意函数J
    		下面图示：线性回归定义的的代价函数J，也许是一个需要最小化的其他函数，此时需要使用一个算法来最小化函数J(θ0,θ1)。
    		注意：梯度下降可应用于更一般的函数，而不仅是线性回归定义的的代价函数J。
    		比如：有一个普通函数J(θ0,θ1,...θn)，希望可以在θ0到θn上实现最小化该函数，可以使用梯度下降解决该更一般的函数。
    		下面为了简洁，因此只使用θ0和θ1。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70][]

3.梯度下降的思路：
    		1.给定θ0和θ1的初始值，到底是什么并不重要，通常的选择是把θ0和θ1都同时初始化为0。
    		2.梯度下降算法要做的就是不停地一点一点地改变θ0和θ1的值，不断使J(θ0,θ1)的值变小，知道我们找到J的最小值或者局部最小值。
    		3.下图展示梯度下降是如何工作的：
    			1.水平坐标轴：分别是θ0和θ1。
    			2.垂直坐标轴：函数J(θ0,θ1)。
    			3.图形表面高度：函数J(θ0,θ1)的值
    			4.目的：最小化函数J(θ0,θ1)的值

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 1][]

4.如下图所示，假设我要将这个J函数值最小化。
    			1.我先从θ0和θ1的某个值出发，即对θ0和θ1赋予某个初始化值，也就是说从这个J函数表面位置上的某个点出发，
    			  不管θ0和θ1的取值是多少，我们都将θ0和θ1初始化为0，但有时也可以把他们初始化为其他值。
    			2.我们可以把这个图像中的凡是凸起处想象为一座山，那么图中便有两座山。现在我们想要尽快下山，首先要考虑朝什么方向迈步下山是下降最快的，
    			  需要找到最佳的方向下山，每走完一小步，都重新观察四周思考下一步需要按什么方向下山才是最快的，以达到所走每一步的方向都是最佳的最快的，
    			  最终走到局部的最低点，即得到一个局部的最优解，当然从不同方向下山都可能找到不同的局部最优解。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 2][]

5.梯度下降的一个特点：
    			当一开始运行梯度下降法时，如果是从左边的点开始下山的话，那么将找到第一个局部的最低点，即得到第一个局部的最优解。
    			如果一开始是从右边的点开始下山的话，那么将找到第二个局部的最低点，即得到第二个局部的最优解。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 3][]

4.梯度下降背后的数学原理
    		1.反复执行这一步，直到收敛至最低谷找到最优解实现最小化。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 4][]

2.符号使用：
    			1.需要更新参数θj，为θj减去(a乘以后面这一部分)。
    			2.公式中的符号“:=”表示赋值，这是一个赋值运算符。
    			  	1.计算机运算表达式：
    					a:=b 表示拿取b的值赋值给a，而不管a的原始值是多少。这意味着设定a等于b的值，这就是赋值。
    			       		a:=a+1 表示将a值本身+1 
    			  	2.判定表达式：
    			       		a=b 表示断言a值等于b值
    			       		a=a+1 表示的是 a值 和 a+1 永远不会是同一个值
    			3.公式中的a值被称为学习速率，a值(学习速率)用来控制梯度下降时我们应该迈出多大的步子距离，实际也即是控制以多大的幅度更新参数θj。
    			  如果a值(学习速率)很大，那么梯度下降就会很快，就会用大步子下山，如果a值(学习速率)很小，那么梯度下降就会很慢，就会用小碎步下山。
    
    			4.导数项：

![20190526175252584.png][]

5.(for j=0 and j=1) 当j=0和j=1时，θj会产生更新，也将会更新θ0和θ1。
    
    			6.对于这个更新方程表达式：

![20190526175302834.png][]

1.要同时更新θ0和θ1，即同步更新θ0和θ1：
    					1.θ0:=θ0，即θ0更新为“θ0减去某项”，表示为

![20190526175313318.png][]

2.θ1:=θ1，即θ1更新为“θ1减去某项”，表示为

![20190526175324226.png][]

2.实现的流程：
    					1.分别对θ0和θ1同时进行计算，然后分别同时更新θ0和θ1
    					2.正确实现梯度下降的流程：
    						分别对θ0和θ1同时进行计算然后使用临时变量temp0和temp1分别接收，最终又同时分别把temp0和temp1赋值给θ0和θ1

![20190526175333149.png][]

3.错误实现梯度下降的流程：
    						错误的原因：没有做到同步更新θ0和θ1。先更新完θ0之后的话，那么在下一步更新θ1的表达式中便会使用到θ0值，
    							   那么造成更新出来的θ1值也会和同步更新出来的θ1值会有所不同。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 5][]

3.必须同步更新θ0和θ1，才能正确实现梯度下降。我们常说的梯度下降算法实际指的就是同步更新。
    				  如果使用非同步更新θ0和θ1的方式的话，可能也会正常工作，但是这并不是人们所指的那个梯度下降算法，而是具有不同性质的其他算法。

--------------------

2.计算导数项
    	1.导数项公式：

![20190526175411825.png][]

2.公式符号：
    		1.比如最小化函数时的只有一个参数的情况：
    			一个代价函数J(θ1)，θ1是一个实数，那么便可以画出一条一维的曲线，那么梯度下降在这个函数上面会起到什么作用呢？
    		2.下图是一个关于实数θ1的代价函数J(θ1)
    			横轴上有一个点θ1，纵轴是J(θ1)。
    			先从点θ1开始进行梯度下降，那么梯度下降要做的就是θ1=θ1-a*d/dθ1J(θ1)，公式：

![20190526175423766.png][]

偏导数的符号d/dθ1，公式：

![2019052617543337.png][]

3.例子1
    		1.在横轴上初始化参数θ1，然后取点θ1映射到函数曲线上的位置(绿色叉)画出一条切线(红色直线)，其实这就是导数，刚好与函数曲线相切的这条红色直线。
    		  而这条切线(红色直线)的斜率正好是这个 垂直高度(绿色垂直线) 除以 这个水平长度(绿色水平线)，即 d/dθ1J(θ1)导数项的结果值是一个正数，
    		  该值可以是大于等于0，并且导数项的正数值就是这条切线的斜率，那么得出这条切线(红色直线)的斜率是一个正斜率。
    		  也就是说这个导数是一个正导数，而这个导数项的结果值是一个正数，这条切线是向上倾斜的。
    		2.结论：更新θ1的公式可以看作成θ1=θ1-a*正数值的导数项，导数项即为一个正数，a是学习速率也永远是一个正数。
    		        不断更新的θ1值在不停地变小，结果相当于θ1向左移动，也就便更接近函数曲线的最低点，那么此时的梯度下降是在做正确事情。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 6][]

4.例子2
    		1.在横轴上初始化参数θ1，然后取点θ1映射到函数曲线上的位置(绿色叉)画出一条切线(红色直线)，其实这就是导数，刚好与函数曲线相切的这条红色直线。
    		  而这条切线(红色直线)的斜率 实际是  d/dθ1J(θ1)导数项的结果值，而导数项的结果值是一个负数，该值可以是小于等于0。
    		  也就是说导数项的负数值就是这条切线的斜率，那么得出这条切线(红色直线)的斜率是一个负斜率。
    		  也就是说这个导数是一个负导数，而这个导数项的结果值是一个负数，这条切线是向下倾斜的。
    		2.结论：更新θ1的公式可以看作成θ1=θ1-a*负数值的导数项，导数项即为一个负数，a是学习速率永远是一个正数。
    		        那么更新θ1即是用θ1减去一个负数值，这意味着实际等于增加了θ1值，因为这是在减去一个负数值。
    		        不断更新的θ1值在不停地增大，结果相当于θ1向右移动，也就便更接近函数曲线的最低点，那么此时的梯度下降是在做正确事情。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 7][]

5.学习速率a
    		1.梯度下降的更新规则：

![20190526175509814.png][]

2.学习速率a比较小的情况
    			横轴是θ1，函数曲线便是代价函数J(θ1)。
    			如果学习速率a比较小，也就是说在用一个比较小的系数来更新θ1。
    			如下图：当学习速率a比较小也即意味着每次迈步的步伐比较小，那么下降的速度也就会比较慢，便需要很多步才能到达全局的最低点。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 8][]

3.学习速率a比较大的情况
    			横轴是θ1，函数曲线便是代价函数J(θ1)。
    			如果学习速率a比较大，也就是说在用一个比较大的系数来更新θ1。
    			学习速率a比较大也即意味着每次迈步的步伐比较大，那么下降的速度也就会比较快，只需要很少步便能到达全局的最低点。
    			但是学习速率a比较大的时候也有缺点，就是梯度下降的过程中可能会一下子越过全局的最低点，造成可能无法收敛或发散。
    			如下图：
    				比如说一开始第一次迭代时，是从已经非常接近最小值的左侧附近开始下降，导数指向右侧，实际就是增加θ1值，
    				如果此时学习速率a比较大的话会迈出很大一步，一下子到达最低点的右侧，意味着此时的代价函数只会变得更糟，
    				因为离最低点已经越来越远了，数值变差了。
    				那么在第二次迭代时，便从当前的最低点的右侧，导数项转而指向左侧，实际就是减少θ1值，
    				同时现在的学习速率a也是比较大的话，那么同样可能会一下子越过全局的最低点，到达全局的最低点的左侧。
    				造成通过每次迭代后，都会离全局的最低点越来越远，造成可能的无法收敛或发散。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 9][]

3.假如现在θ1初始化在一个局部最低点/局部最优处，局部最低点的导数结果值等于0，因为导数是切线的斜率，而这条切线的斜率等于。
    		  在梯度下降的更新过程中，θ1便更新为θ1=θ1-a*0。如果一旦在局部最低点，θ1将不会再改变，也就是说更新后的θ1还是等于原来的θ1。
    		  如果θ1已经位于局部最低点，那么再使用梯度下降法更新实际什么都没做，它不会改变参数的值，而这也是你想要的，
    		  因为它使你的解始终保持在局部最低点，这也解释了即使学习速率a保持不变，梯度下降法也可以收敛到局部最低点的原因。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 10][]

4.下面介绍理想的的梯度下降算法的运行流程，使用梯度下降算法来最小化代价函数J(θ1)。
    			1.首先θ1初始化在红色叉位置上，然后更新第一步梯度下降算法，那么便会从红色叉位置下降到蓝色叉位置上，而这第一步下降的幅度比较大，步长比较长。
    			2.更新第二步梯度下降算法，那么便会从蓝色叉位置下降到绿色叉位置上，而这第二步下降的幅度要比第一步的幅度，步长要短。
    			3.以此类推，在进行第三步、第四步...的梯度下降时，每一步更新的θ1会更小，每更新的一步都要比上一步下降的幅度要小，步长要短，
    			  越接近最低点，移动的步幅自动地变得越来越小，导数越来越接近0，切线斜率也越来越小。
    			  直到移动的步幅非常小，此时会发现已经收敛到局部最低点。最终到达最低点时，导数值为0，斜率也为0。
    			4.结论：在梯度下降算法中，当我们接近局部最低点时，梯度下降算法会自动采取更小的幅度，这是因为越来越接近局部最低点。
    			        根据定义，在局部最低点时，导数等于0，斜率也为0。
    			        所以当越来越接近局部最低点时，导数值便自动会变得越来越小，所以梯度下降将自动采取较小的幅度，这就是梯度下降的运行方式。
    			        因此实际上也没必要再另外减少学习速率a。
    			        可以用梯度下降算法来最小化任何代价函数，而不仅只是线性回归中的代价函数。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 11][]

--------------------

3.线性回归算法：线性回归的梯度下降

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 12][]

1.线性回归的代价函数中的平方代价函数 结合 梯度下降，得出第一个机器学习算法，即线性回归算法：线性回归的梯度下降。
    	2.使用 梯度下降算法 来最小化 线性回归所定义的平方差代价函数J，他可以使用直线模型来拟合数据，
    	3.平方差代价函数J(θ0,θ1)：从第一个到第m个样本的平均误差的总和，便是平均误差代价函数要求得的结果。
    	4.偏导数项(导数)的推导过程：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 13][]

5.在参数θJ中，当J=0和j=1时，分别即为θ0和θ1的两种情况下的偏导数：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 14][]

6.下图是线性回归的梯度下降算法的公式图：	
    		1.不断重复线性回归的梯度下降算法直到收敛，θ0和θ1更新为原值减去“a乘以后面的偏导数”。
    		2.当使用梯度下降时，需要注意一些细节才能同时更新θ0和θ1。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 15][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 16][]

7.问题：容易陷入局部最优
    		如何根据从哪里开始初始化，决定最终取到不同的局部最优解，可以是在左边的最低处，也可以是在右边的最低处。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 17][]

8.Batch梯度下降（batch gradient descent批量梯度下降）
    		下面介绍使用了梯度下降的线性回归。梯度下降适用于更大的数据集，
    		求解代价函数J的最小值，除了使用梯度下降的迭代算法，还有使用被称为正规方程组方法，该方法与梯度下降不同的是，他无需多步骤使用梯度下降。
     
    		1.此处batch批量的意思是：梯度下降的每个步骤(每一步的下降)都使用了所有的训练样本数据。
    		  Batch梯度下降：每一步的梯度下降，需要遍历整个训练集的样本，所以在计算偏导数时，在每一个单独的梯度下降中，我们最终都计算m个训练样本的总和。
    		2.这样一个弓状的函数图，术语叫做凸函数，不太正规地解释凸函数就是一个弓形函数。
    		3.这个弓形函数不存在局部最优解/局部最低处，只存在一个全局最优解/全局最低处，那么便不会存在上面所述的容易陷入局部最优的问题。
    		  当计算这种弓形的代价函数的梯度下降时，只要你是使用线性回归的代价函数，那么它总是会收敛到全局最优，因为没有其他的局部最优解/局部最低处。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 18][]

4.代价函数J(θ0,θ1)图中的参数值每次不相同的初始化 所对应 假设函数h(x)图中 直线的不同位置。
    			1.代价函数J(θ0,θ1)图：初始化θ0=900，θ1=-0.1，
    		  	  假设函数h(x)图：h(x)=-900-0.1x

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 19][]

2.代价函数J(θ0,θ1)图：此时梯度下降一点，即向左下方移动一点点，越来越接近全局最低点。
    		  	  假设函数h(x)图：直线越来越拟合样本数据。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 20][]

3.代价函数J(θ0,θ1)图：此时梯度下降一点，即向左下方移动一点点，越来越接近全局最低点。
    		  	  假设函数h(x)图：直线越来越拟合样本数据。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 21][]

4.代价函数J(θ0,θ1)图：此时梯度下降一点，即向左上方移动一点点，越来越接近全局最低点。
    		  	  假设函数h(x)图：直线越来越拟合样本数据。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 22][]

5.代价函数J(θ0,θ1)图：此时梯度下降一点，即向左上方移动一点点，越来越接近全局最低点。
    		  	  假设函数h(x)图：直线越来越拟合样本数据。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 23][]

6.代价函数J(θ0,θ1)图：此时梯度下降一点，即向左上方移动一点点，越来越接近全局最低点。
    		  	  假设函数h(x)图：直线越来越拟合样本数据。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 24][]

7.代价函数J(θ0,θ1)图：此时梯度下降一点，即向左上方移动一点点，越来越接近全局最低点。
    		  	  假设函数h(x)图：直线越来越拟合样本数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 25][]

8.代价函数J(θ0,θ1)图：此时梯度下降一点，即向左上方移动一点点，越来越接近全局最低点。
    		  	  假设函数h(x)图：直线越来越拟合样本数据

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 26][]

9.代价函数J(θ0,θ1)图：此时梯度下降一点，到达全局最低点。
    		  	  假设函数h(x)图：直线完美拟合样本数据。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 27][]

10.得到完美拟合样本数据的直线之后，现在便可以对新房子进行预测房价格了。

[20191009191333910.png]: /images/20220127/e47f4373d3604b4f9d2769457caec5e9.png
[Link 1]: http://www.rimengshe.com/
[AI_Keras PyTorch MXNet TensorFlow PaddlePaddle]: https://blog.csdn.net/zimiao552147572/article/details/88867161
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70]: /images/20220127/188fb290f0da42799976b9fbfe063477.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 1]: /images/20220127/733f7cd672d0474c87aaf83acc74995e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 2]: /images/20220127/5277b4c807a8430cb6240e33f4cc257a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 3]: /images/20220127/6d43465229c44eabae3fc722fcb21458.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 4]: /images/20220127/cf8f7aabb0a14848ae5d0c60e676e593.png
[20190526175252584.png]: /images/20220127/003df03fba0b4cec8a9dbcf635f191d8.png
[20190526175302834.png]: /images/20220127/6d6795cc14cc4b9eaa3fb54ad7d1e936.png
[20190526175313318.png]: /images/20220127/3e3b3b2b2d28466281e36b1733772c8e.png
[20190526175324226.png]: /images/20220127/a77b713683444a45a01bbdbbbfb9a154.png
[20190526175333149.png]: /images/20220127/a5bbf12b8d404af0a8539fbc97cdeba1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 5]: /images/20220127/c6b39ac656134d73b60dc2dfadb1bc6a.png
[20190526175411825.png]: /images/20220127/646374b3d36a4d57bb0b48bddb4032c3.png
[20190526175423766.png]: /images/20220127/f49bc37f24a345ae9edd61ae98a867e2.png
[2019052617543337.png]: /images/20220127/07c41920f9ad4b0590df40305bb29714.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 6]: /images/20220127/0ab4e6bc6cad4cc7909d853b5baf1695.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 7]: /images/20220127/73c2bf256d2f471e9432d60a778c221f.png
[20190526175509814.png]: /images/20220127/33cd3c3a742a4a729c1511392072707d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 8]: /images/20220127/a35424910cb54326b7d484829fb4cba3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 9]: /images/20220127/bffea722be3c4e8a8da27d2adad12f15.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 10]: /images/20220127/2628caa94fde47dba12cd90ff1e395e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 11]: /images/20220127/bd903c4773f14dd0b624fde1075df93c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 12]: /images/20220127/ea145b3eed204c479918f667f451eb54.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 13]: /images/20220127/2ffb03d50a1f43739a33ff71f2defed2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 14]: /images/20220127/2a2785554a1e4487afef35851f281a49.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 15]: /images/20220127/25d69042ee544d6aa322a463c9b62029.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 16]: /images/20220127/b2f8d4ae887e4f27b674868d1ac260fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 17]: /images/20220127/e9c22ae3d8e24707843a1cd0b2ec3b7d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 18]: /images/20220127/1d1050047a3f474fa3d547ed52b6ad83.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 19]: /images/20220127/c93d600be6b04016becf29e1ea19d77f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 20]: /images/20220127/3c27b6ac2fa94fd5a66f0adffbdb7545.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 21]: /images/20220127/87bee7f11f404a6faaea3bc1e70c3f18.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 22]: /images/20220127/f86a2387bd1d4d5f9e8db7eb1a767681.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 23]: /images/20220127/90be141a8e0b459b99bc185d04867046.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 24]: /images/20220127/26368a7a60b041ec9d65ab0a410db112.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 25]: /images/20220127/f94d96c6ec6d43af8d85557e77e234e2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 26]: /images/20220127/887af15777be4baa841020f9a9b95049.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ppbWlhbzU1MjE0NzU3Mg_size_16_color_FFFFFF_t_70 27]: /images/20220127/224f1a300e394275a16e845542cde310.png