详解SVM支持向量机算法(四:坐标上升和SMO算法)

我会带着你远行 2022-08-28 04:49 246阅读 0赞

**目录**

背景

坐标上升算法

定义

过程

举个求解的栗子

基于坐标上升的SMO算法

SMO算法步骤

为什么要选两个参数

SVM算法推导过程：

目标函数转为二元函数

目标函数转为一元函数

一轮迭代中第一步求出a1和a2

先不加约束条件求解

加上约束条件对上边求出的结果修剪

取临界情况

SVM过程中的启发式选择变量

背景

启发式选取第一个变量

启发式选取第二个变量

阈值b的更新

--------------------

# 背景 #

前边三篇文章我们说了关于SVM的三种类别以及中间目标函数的推导和求解原理，中间我们说到在求解的后半部分要用到SMO，具体用到的是max部分求 **α**，如硬间隔的：

![00593572bbbb4fe9a4d6e5cf49904557.jpg][]

还有软间隔的：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_6_color_FFFFFF_t_70_g_se_x_16][]

回顾非线性第一步求得min情况下的w和b后目标函数的状态：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16][]

针对上述问题出现了SMO算法，很快便成为最快的二次规划优化算法，特别是在针对线性SVM和数据稀疏时性能更优。

# 坐标上升算法 #

## 定义 ##

坐标上升法(Coordinate Ascent)每次通过更新函数中的一维，通过多次的迭代以达到优化函数的目的。

## 过程 ##

假设需要求解的优化问题的具体形式如下：

![c8b91c6155294e8594c05ec2a0ba8b49.png][]

其中W是向量![0042d7193e4c4efb97ad96243bdc946b.png][] 的函数，更新过程为每次固定除αiαi以外的参数，求得满足条件的αiαi，直到算法收敛，具体的算法过程如下所示：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16][]

## 举个求解的栗子 ##

现在我们来优化它：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16][]

我们的思路还是要通过多次迭代来获取最优解，每一次迭代我们这样做，先固定x2,更新x1:

![b194777e47fa4f44a231d7d8d9d59cac.png][]

对x1求完导，令其等于0求极值则得到 x1 = x2 。然后固定x1更新x2

![0cf34d85d5c44b7a94702653abcffa93.png][]

同样求极值得到 x2 = x1 / 3 ,然后迭代直到收敛，过程如图

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_17_color_FFFFFF_t_70_g_se_x_16][]

C++代码：

#include <iostream>
    using namespace std;
    #define f(x1,x2) (-x1*x1-3*x2*x2+2*x1*x2+6)
    int main()
    {
    	double x1 = 1;
    	double x2 = 1;
    	double f0 = f(x1, x2);
    	double err = 1.0e-10;
    	while (true)
    	{
    		x1 = x2;
    		x2 = x1 / 3;
    		double ft = f(x1, x2);
    		if (abs(ft - f0) < err)
    		{
    			break;
    		}
    		f0 = ft;
    	}
    	cout << "@author:raychiu email:raychiu0202@163.com" << endl;
    	cout << "\nmax{f(x1,x2)}=" << f(x1, x2) << endl;
    	cout << "取得最大值时的坐标：\n(x1,x2)=(" << x1 << "," << x2  << ")" << endl;
    	return 0;
    }

结果：![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16][]

# 基于坐标上升的SMO算法 #

## SMO算法步骤 ##

背景中我们提到求解出w和b后反带回目标函数得到的式子中有多个 **α** 待求解，C由我们预先设定的是已知数，其他参数均为已知。

要解决的是在多个参数 ![511a6871c41a48ee91917c6e9dd731bf.png][]上求最大值W的问题，至于和都是已知数。C由我们预先设定，也是已知数。

SMO的方法思路就是把原始求解N个 **α** 参数二次规划问题分解成很多个子二次规划问题分别求解，每个子问题只需要求解2个参数，求解2个参数的方法类似于坐标上升，节省时间成本和降低了内存需求。每次启发式选择两个变量进行优化，不断循环，直到达到函数最优值。

SMO主要步骤：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16][]

意思是说，SMO算法主要分为以下两步：

(1) 选择接下来要更新的一对 αi 和 αj:采用启发式的方法进行选择，以使目标函数最大程度地接近其全局最优值

(2) 将目标函数对 αi 和 αj 进行优化，保持其它所有的 αk (k<> i, j ) 不变

## 为什么要选两个参数 ##

本来可以按照坐标上升的思路，我们先固定a1之外的N-1个参数，可以转化为类似求a1的一元函数在a1上求极值，但是由于目标函数中还有约束条件![df2b58b592ac4abca350c931d885f5b4.jpg][]，a1也被固定了(可以由其他值推出)，因此SMO选择固定N-2个参数，同时优化求解两个参数。

# SVM算法推导过程： #

## 目标函数转为二元函数 ##

假设我们选择求解两个变量a1 a2, 固定其他N-2个变量，即视为已知常量，那么目标函数将会转化为关于a1、a2的二元函数：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16][]

其中 ![c8e59e665ed644058629613d006bae98.jpg][]

## 目标函数转为一元函数 ##

由于a3到an视为已知常量，根据等式约束得

![80c34b93984f43df8cbc0eff8764aa0b.png][]

![24369064eaca4cf6910f874a542e40c5.png][]

**ζ** 可见为一个定值。

然后带回关于a1、a2的二元函数，最终转换成关于a2的一元函数![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

## 一轮迭代中第一步求出a1和a2 ##

### 先不加约束条件求解 ###

然后求导并等于0求极值：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16 2][]

此时可以求出a2的解，然后由![ee19076cbcc74f0285b90e32b79d37da.png][]可求得a1。

假设两个乘子a1和a1在更新之前分别是![0b1ad6b566c64c9a804e34efb4e87bb8.png][]、![705fd6cba6a9466393e8a6beb6a0683c.png][]，更新之后分别是![7065745bc1314a709cb6859d3cd27544.png][]、![4c272cf3f9494822b6f4f9a17a556fe5.png][]，又因为a3到an还是固定的，那么

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_6_color_FFFFFF_t_70_g_se_x_16 1][]

前边我们目标函数求解第一步求得了![5a80b8fb7fcb421aa38e7688dc2c5ae9.jpg][]，带入超平面f(x)=![5537a2021e054304a631e6825e46cc8b.png][]中得：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16 1][]

f(xi) 表示样本 xi的预测值, yi表示样本 xi的真实值，定义 Ei表示预测值与真实值之差为

![692c69c945d143e691c8b16cbceb826a.png][]

再根据约束条件![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16][]可得：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 1][]

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 2][]

把上述v1、v2结果和上边推出的![1b66d976bc794113af923196b9849798.png][]这个结果，也就是把(4)(6)(7)带入到关于a2的一元函数中得：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16][]

注：因为此时求解出的![4c272cf3f9494822b6f4f9a17a556fe5.png][]未考虑约束问题，先记为![5ededc295b1b4dfb9241acc1ecf2f356.png][]

记![20531a9ad5c441099db8657725dc3143.png][]，将上式整理入Ei预测值与真实值之差式子中得：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16][]

### 加上约束条件对上边求出的结果修剪 ###

上边我们说到求解 ![4c272cf3f9494822b6f4f9a17a556fe5.png][]未考虑约束问题，什么约束呢，就是

![93776b3dd9094510850c4c2727924b44.png][]

为了确定最终![4c272cf3f9494822b6f4f9a17a556fe5.png][]的取值范围。假设它的上下边界分别为H和L，那么有：

![143a115a61bf466d9cc0301988328711.png][]

当y1!=y2时，即两者异号时， 即一个为+1， 另一个为-1，为一条斜率是1的直线：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16 1][]

根据![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16 2][]可得![cbef4f109eee4fa185cf1f75a1dc0d63.png][]，所以有![cae6b95a53394556b7a4ba978e9d6644.png][]

和![6e1aee4d62354dfbbd170c5bda6347c7.png][] ，如上图所示。

当y1=y2时，是斜率为-1的直线：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16 2][]

同样根据![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16 2][]可得![4f4f6d2b0ab64e1a83343ecd1b0546e2.png][]，所以有![28c281c2cb3843a58a69c8634b7c2476.png][]和![2740c82a22314ad2b2786413b7b0d493.png][]，如上图所示

如此，根据y1和y2异号或同号，可得出![4c272cf3f9494822b6f4f9a17a556fe5.png][]的上下界分别为：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_17_color_FFFFFF_t_70_g_se_x_16 1][]

经过这一番修剪，最优解就可以记为了![4c272cf3f9494822b6f4f9a17a556fe5.png][]：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16 1][]

求解![7065745bc1314a709cb6859d3cd27544.png][]:由于其他N-2个变量固定，因此![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 1][]所以可得：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16 1][]

### **取临界情况** ###

大部分情况下，有![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_6_color_FFFFFF_t_70_g_se_x_16 2][]。但是在如下两种情况下， ![4c272cf3f9494822b6f4f9a17a556fe5.png][]需要取临界值L或者H 。

1.  η<0,当核函数K不满足Mercer定理时，矩阵K非正定；
2.  η=0,样本x1与x2输入特征相同；

也可以如下理解，对(3)式求二阶导数就是![b3c3861e53464fc6a3a955111e235a7d.png][]

当η<0时，目标函数为凸函数，没有极小值，极值在定义域边界处取得。  
当η=0时，目标函数为单调函数，同样在边界处取极值。  
计算方法：

即当![4c272cf3f9494822b6f4f9a17a556fe5.png][]=L和 ![4c272cf3f9494822b6f4f9a17a556fe5.png][]=H时，分别带入(9)式中，计算出![7065745bc1314a709cb6859d3cd27544.png][]=L1和![7065745bc1314a709cb6859d3cd27544.png][]=H1,其中s=y1y2

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_14_color_FFFFFF_t_70_g_se_x_16][]

带入目标函数(1)内，比较Ψ(α1=L1,α2=L)与Ψ(α1=H1,α2=H)的大小，α2取较小的函数值对应的边界点。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_18_color_FFFFFF_t_70_g_se_x_16][]

其中

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16 2][]

# SVM过程中的启发式选择变量 #

## 背景 ##

我们在上边分析了从N个变量中已经选出两个变量进行优化的方法，那么我们说到SMO算法两步中第一步时启发式的选取两个变量，并不是随便随机选取的，这关系到是否可以更快的进行迭代优化。下面分析如何高效地选择两个变量进行优化，使得目标函数下降的最快。

## 启发式选取第一个变量 ##

第一个变量的选择称为外循环，**首先**遍历整个样本集，选择违反KKT条件的αi作为第一个变量，接着依据相关规则选择第二个变量(见下面分析),对这两个变量采用上述方法进行优化。当遍历完整个样本集后，**然后**遍历非边界样本集(0<αi<C)中违反KKT的αi作为第一个变量，同样依据相关规则选择第二个变量，对此两个变量进行优化。当遍历完非边界样本集后，再次回到遍历整个样本集中寻找，**即在整个样本集与非边界样本集上来回切换，寻找违反KKT条件的αi作为第一个变量。直到遍历整个样本集后，没有违反KKT条件αi**，然后退出。

边界上的样本对应的αi=0或者αi=C，在优化过程中很难变化，然而非边界样本0<αi<C会随着对其他变量的优化会有大的变化，所以优先选择样本前面系数（0<αi<C）的αi作优化（论文中称为无界样例）

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16 1][]

选取第一个变量这种启发式的选取是否最后会收敛。可幸的是Osuna定理告诉我们只要选择出来的两个αi中有一个违背了KKT条件，那么目标函数在一步迭代后值会减小。违背KKT条件不代表0<αi<C，在界上也有可能会违背。是的，因此在给定初始值αi=0后，先对所有样例进行循环，循环中碰到违背KKT条件的（不管界上还是界内）都进行迭代更新。等这轮过后，如果没有收敛，第二轮就只针对0<αi<C的样例进行迭代更新。

怎样才算是违反KKT条件呢？

1）如果αi<C,却有yif(xi)<1,本来它应该等于1的。

2）如果αi>0,却有yif(xi)>1,本来它应该等于1的。

## 启发式选取第二个变量 ##

SMO称第二个变量的选择过程为内循环，假设在外循环中找个第一个变量记为α1，第二个变量的选择希望能使α2有较大的变化，由于α2是依赖于|E1−E2|,当E1为正时，那么选择最小的Ei作为E2,如果E1为负，选择最大Ei作为E2，通常为每个样本的Ei保存在一个列表中，选择最大的|E1−E2|来近似最大化步长。(注：Ei就是上边(5)式说到的预测值与真实值之差)

# 阈值b的更新 #

每完成对两个变量的优化后，要对b的值进行更新，因为b的值关系到f(x)的计算， 前面的KKT条件指出了αi和![6384ab1f1d1f40609ed39fca958a4d61.png][]的关系，肯定和b有关，最后会关系到下次优化时Ei的计算。所以在每一步计算出αi后，根据KKT条件来调整b。

1.如果![7ea0733e36ee430c8e680f7486ca594e.png][]，由KKT条件![17ed3afbcba447cf93c5617e1cb33236.png][]，得到![495e962ae4bb4040a3ea309856123cd0.png][],由此得：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16 2][]

由(5)式得，上式前两项可以替换为：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_14_color_FFFFFF_t_70_g_se_x_16 1][]

得出：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16 1][]

2.如果![2852b12e9bb44942880e7719ce08fed6.png][]，则

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16 2][]

3.如果同时满足![f9e7a682808b4e60879d3ceb4fde7b29.png][] ,则![a0e3b984dfc74a8fa412138b894163ea.png][]

4.如果同时不满足![f9e7a682808b4e60879d3ceb4fde7b29.png][]则![5e7ca1690d004579af95ae87c2f84fd7.png][]和 ![038f168e1ebf43259379753c0a687789.png][]以及它们之间的数都满足KKT阈值条件，这时选择它们的中点。

参考：[优化算法——坐标上升法\_null的专栏-CSDN博客\_坐标上升法][null_-CSDN]

[机器学习——svm支持向量机的原理 - it610.com][svm_ - it610.com]

[支持向量机通俗导论（理解SVM的三层境界）\_结构之法 算法之道-CSDN博客\_支持向量机通俗导论(理解svm的三层境界)][SVM_ _-CSDN_svm]

[SVM学习总结\_MyArrow的专栏-CSDN博客][SVM_MyArrow_-CSDN]

[【机器学习详解】SMO算法剖析\_勿在浮砂筑高台-CSDN博客][SMO_-CSDN]

[支持向量机（五）SMO算法 - JerryLead - 博客园][SMO_ - JerryLead -]

[00593572bbbb4fe9a4d6e5cf49904557.jpg]: /images/20220828/626e3ab27c2c4688b0aed2980f858133.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_6_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/bafbf17aede643b0a287820d70d61008.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/5fbf3ae64d1a43c298f6ca8072ac6642.png
[c8b91c6155294e8594c05ec2a0ba8b49.png]: /images/20220828/5e9c8d2db24448dbb67be08169ffb1ee.png
[0042d7193e4c4efb97ad96243bdc946b.png]: /images/20220828/ae2006d76477449b8f41777f5aa41542.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/d74f6cb303a048b8ad6ce1145ccd601c.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/d632468c18b8476d8e9c2a9ef92fc2c4.png
[b194777e47fa4f44a231d7d8d9d59cac.png]: /images/20220828/bf684de865fd4b40b707d6e91ce9693a.png
[0cf34d85d5c44b7a94702653abcffa93.png]: /images/20220828/f5ce63fc0465491692e017afb5ccf7bf.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_17_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/126b2aa9d64c45b68f77899dc7c11aab.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/92de5382b400407abd6cb5047b751b0a.png
[511a6871c41a48ee91917c6e9dd731bf.png]: /images/20220828/dcf2fa08151d418aba47bbe8e0f85c8e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/6bf5b61fc4d9436c916d3a87e1f23308.png
[df2b58b592ac4abca350c931d885f5b4.jpg]: /images/20220828/927647dcad7d4ec9948f8609ac05e3d8.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/398f6eebaa414c068fca38fab403b3d2.png
[c8e59e665ed644058629613d006bae98.jpg]: /images/20220828/4aff24119165499f91cdf47363b08541.png
[80c34b93984f43df8cbc0eff8764aa0b.png]: /images/20220828/13ee6f1c012f4fa6b4a6b72859ace9f6.png
[24369064eaca4cf6910f874a542e40c5.png]: /images/20220828/f7cc24103e514c5aa7995cff73fb0349.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/698dbf68169b4a638b9864b8bda20668.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/55f318e15cde413a8c3a72f8204502cb.png
[ee19076cbcc74f0285b90e32b79d37da.png]: /images/20220828/2d096ed2c81c48078c88f67302d5a92b.png
[0b1ad6b566c64c9a804e34efb4e87bb8.png]: https://img-blog.csdnimg.cn/0b1ad6b566c64c9a804e34efb4e87bb8.png
[705fd6cba6a9466393e8a6beb6a0683c.png]: https://img-blog.csdnimg.cn/705fd6cba6a9466393e8a6beb6a0683c.png
[7065745bc1314a709cb6859d3cd27544.png]: /images/20220828/c9ee2042f90a4dafa8adf7247dcd0aa8.png
[4c272cf3f9494822b6f4f9a17a556fe5.png]: /images/20220828/fe5f805fae1b42c285ab317711f594db.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_6_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/51ed2f1d05f24654903196f9e2eec525.png
[5a80b8fb7fcb421aa38e7688dc2c5ae9.jpg]: https://img-blog.csdnimg.cn/5a80b8fb7fcb421aa38e7688dc2c5ae9.jpg
[5537a2021e054304a631e6825e46cc8b.png]: /images/20220828/eb04c71c4c8d49b18d82867cba5c9abd.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/2694fb9a817a40edb737444a83539fe0.png
[692c69c945d143e691c8b16cbceb826a.png]: /images/20220828/d3eaeef2e1314680807f24ec4237efcc.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/6fd836ce5b2047408c6e1774c52d308b.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/bb545d2f97024cbe833f53856db33ff4.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_9_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/589b39cc0e2444e79304c9ece54a8dc5.png
[1b66d976bc794113af923196b9849798.png]: /images/20220828/5769c9c505f447ee923553eb87b4030e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/9e6c25f910204a29bbb1ae97db04c0a9.png
[5ededc295b1b4dfb9241acc1ecf2f356.png]: /images/20220828/070c1d9995e74fb3a424eec0ec037cf4.png
[20531a9ad5c441099db8657725dc3143.png]: /images/20220828/1921fbeed78842a4872210b512d2b9d3.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/62bba74018074b27a7e7a77028582dfa.png
[93776b3dd9094510850c4c2727924b44.png]: /images/20220828/4e0a6c7c7b654b4ea468b2177d1a2aae.png
[143a115a61bf466d9cc0301988328711.png]: /images/20220828/b34a9872b8f84a45b94b2ddccb1b8e0b.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/38f13b4c0c1e4be78f712c35f2b2fb68.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_7_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/fe1645852d2148229368fccf5df4ed47.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg==,size_7,color_FFFFFF,t_70,g_se,x_16
[cbef4f109eee4fa185cf1f75a1dc0d63.png]: https://img-blog.csdnimg.cn/cbef4f109eee4fa185cf1f75a1dc0d63.png
[cae6b95a53394556b7a4ba978e9d6644.png]: /images/20220828/4fb974924039459abc1c82377c4fcba6.png
[6e1aee4d62354dfbbd170c5bda6347c7.png]: /images/20220828/43d0de7b62d84f1fa59e4ab39f6922d6.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_11_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/a8c1ba97650b49cc9d2218afeb29e5e3.png
[4f4f6d2b0ab64e1a83343ecd1b0546e2.png]: https://img-blog.csdnimg.cn/4f4f6d2b0ab64e1a83343ecd1b0546e2.png
[28c281c2cb3843a58a69c8634b7c2476.png]: https://img-blog.csdnimg.cn/28c281c2cb3843a58a69c8634b7c2476.png
[2740c82a22314ad2b2786413b7b0d493.png]: /images/20220828/340e0376e1ee459bb220b22158b781fb.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_17_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/00428337991843948c3870a0688e98cd.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/6774a08d9867494395fa256768cfb616.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/a63c541a04dc4f86a980671636a58ddf.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/f001b4ed3b96481fa9ccbf978f860546.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_6_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/c98cb192aaf142d0aae1077799f9d5f7.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg==,size_6,color_FFFFFF,t_70,g_se,x_16
[b3c3861e53464fc6a3a955111e235a7d.png]: /images/20220828/059833a49c304d709ea0baaea514098c.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_14_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/9cc56d386fcf48b9949c2154043f8f6d.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_18_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/d0e5ab6616184497895f9f94d7550bb9.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_12_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/fce6a8942269400eb0473fdcff890d96.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/6b4d32904b2f49f9805dac49b5ff2ab1.png
[6384ab1f1d1f40609ed39fca958a4d61.png]: /images/20220828/dee3b45fc755476d8b3182c3534be539.png
[7ea0733e36ee430c8e680f7486ca594e.png]: https://img-blog.csdnimg.cn/7ea0733e36ee430c8e680f7486ca594e.png
[17ed3afbcba447cf93c5617e1cb33236.png]: https://img-blog.csdnimg.cn/17ed3afbcba447cf93c5617e1cb33236.png
[495e962ae4bb4040a3ea309856123cd0.png]: /images/20220828/5492dcd7d7434157a67b2fc5cfbc9f5c.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/64108803295f42eea5e82f31b46778aa.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_14_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/e9927f81af604019a83a10955d96929e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/d2df3dcda53f44379f3259c3602938ff.png
[2852b12e9bb44942880e7719ce08fed6.png]: /images/20220828/b3907ba6b95245c991a2dc2000c6e989.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_15_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/a38692e0a4bc4bc58920569ba78ccb67.png
[f9e7a682808b4e60879d3ceb4fde7b29.png]: https://img-blog.csdnimg.cn/f9e7a682808b4e60879d3ceb4fde7b29.png
[a0e3b984dfc74a8fa412138b894163ea.png]: /images/20220828/0a27b87f8977404a86b9683ca6ddf49c.png
[5e7ca1690d004579af95ae87c2f84fd7.png]: https://img-blog.csdnimg.cn/5e7ca1690d004579af95ae87c2f84fd7.png
[038f168e1ebf43259379753c0a687789.png]: /images/20220828/f6ee67d1220747038b97a7e85c4af8df.png
[null_-CSDN]: https://blog.csdn.net/google19890102/article/details/51065297
[svm_ - it610.com]: https://www.it610.com/article/5174589.htm
[SVM_ _-CSDN_svm]: https://blog.csdn.net/v_JULY_v/article/details/7624837
[SVM_MyArrow_-CSDN]: https://blog.csdn.net/myarrow/article/details/51261971
[SMO_-CSDN]: https://blog.csdn.net/luoshixian099/article/details/51227754
[SMO_ - JerryLead -]: https://www.cnblogs.com/jerrylead/archive/2011/03/18/1988419.html