svm算法最通俗易懂讲解

素颜马尾好姑娘i 2022-06-02 05:35 285阅读 0赞

最近在学习svm算法，借此文章记录自己的学习过程，在学习很多处借鉴了z老师的讲义和李航的统计，若有不足的地方，请海涵；svm算法通俗的理解在二维上，就是找一分割线把两类分开，问题是如下图三条颜色都可以把点和星划开，但哪条线是最优的呢，这就是我们要考虑的问题；

![20170417132603201][]

首先我们先假设一条直线为 W•X+b =0 为最优的分割线，把两类分开如下图所示，那我们就要解决的是怎么获取这条最优直线呢?及W 和 b 的值；在SVM中最优分割面(超平面)就是：能使支持向量和超平面最小距离的最大值；

我们的目标是寻找一个超平面，使得离超平面比较近的点能有更大的间距。也就是我们不考虑所有的点都必须远离超平面，我们关心求得的超平面能够让所有点中离它最近的点具有最大间距。

![20170417135111573][]

如上面假设蓝色的星星类有5个样本，并设定此类样本标记为Y =1，紫色圈类有5个样本，并设定此类标记为 Y =-1，共 T =\{(X₁ ,Y₁) , (X₂,Y₂) (X₃,Y₃) .........\} 10个样本，超平面（分割线）为wx+b=0;  样本点到超平面的几何距离为：

![20170417150050328][]

此处要说明一下：函数距离和几何距离的关系；定义上把 样本| w▪x₁+b|的距离叫做函数距离，而上面公式为几何距离，你会发现当w 和b 同倍数增加时候，函数距离也会通倍数增加；简单个例子就是，样本 X₁ 到 2wX₁\+2b =0的函数距离是wX₁ +b =0的函数距离的 2倍；而几何矩阵不变；

下面我们就要谈谈怎么获取超平面了？！

超平面就是满足支持向量到其最小距离最大，及是求：max \[支持向量到超平面的最小距离\] ；那只要算出支持向量到超平面的距离就可以了吧 ，而支持向量到超平面的最小距离可以表示如下公式:

![20170417154224582][]

故最终优化的的公式为：

![20170417155301637][]

根据函数距离和几何距离可以得知，w和b增加时候，几何距离不变，故怎能通过同倍数增加w和 b使的支持向量（距离超平面最近的样本点）上样本代入 y(w\*x+b) =1,而不影响上面公式的优化，样本点距离如下：如上图其r1函数距离为1，k1函数距离为1,而其它

样本点的函数距离大于1，及是：y(w•x+b)>=1，把此条件代入上面优化公式候，可以获取新的优化公式1-3：

![20170417160726062][]

公式1-3见下方：优化最大化分数，转化为优化最小化分母，为了优化方便转化为公式1-4

![20170417162830342][]

![20170417162850153][]

为了优化上面公式，使用拉格朗日公式和KTT条件优化公式转化为：

![20170417163723501][]

对于上面的优化公式在此说明一下：比如我们的目标问题是 min*f*(*x*)。可以构造函数*L*(*a*,*b*,*x*)：

*L*(*a*,*b*,*x*)=*f*(*x*)\+*a*⋅*g*(*x*)\+*b*⋅*h*(*x*)，*a*≥0

此时 *f*(*x*) 与 max*a*,*b**L*(*a*,*b*,*x*) 是等价的。因为 *h*(*x*)=0,*g*(*x*)≤0,*a*⋅*g*(*x*)≤0，所以只有在*a*⋅*g*(*x*)=0的情况下

*L*(*a*,*b*,*x*) 才能取得最大值，因此我们的目标函数可以写为min*x*max*a*,*b**L*(*a*,*b*,*x*)。如果用对偶表达式：max*a*,*b*min*x**L*(*a*,*b*,*x*)，

由于我们的优化是满足强对偶的（强对偶就是说对偶式子的最优值是等于原问题的最优值的），所以在取得最优值*x*∗ 的条件下，它满足 :

*f*(*x*∗)=max*a*,*b*min*x**L*(*a*,*b*,*x*)=min*x*max*a*,*b**L*(*a*,*b*,*x*)=*f*(*x*∗)，

结合上面的一度的对偶说明故我们的优化函数如下面，其中a >0

![20170417165140228][]

现在的优化方案到上面了，先求最小值，对 w 和 b 分别求偏导可以获取如下公式：

![20170417165810929][]

把上式获取的参数代入公式优化max值：

![20170417170917774][]

化解到最后一步，就可以获取最优的a值：

![20170417171156518][]

![20170417171229199][]

以上就可以获取超平面！

但在正常情况下可能存在一些特异点，将这些特异点去掉后，剩下的大部分点都能线性可分的，有些点线性不可以分，意味着此点的函数距离不是大于等于1，而是小于1的，为了解决这个问题，我们引进了松弛变量 ε>=0; 这样约束条件就会变成为：

![20170417175305398][]

故原先的优化函数变为：

![20170417175434290][]

对加入松弛变量后有几点说明如下图所以；距离小于1的样本点离超平面的距离为d ,在绿线和超平面之间的样本点都是由损失的，

其损失变量和距离d 的关系，可以看出 ξ = 1-d , 当d >1的时候会发现ξ =0，当 d<1 的时候 ξ = 1-d ;故可以画出损失函数图，如下图1-7；样式就像翻书一样，我们把这个损失函数叫做 hinge损失；

![20170417183438075][]

![20170418105006041][]

下面我们简单的就来讨论一下核函数：核函数的作用其实很简单就是把低维映射到高维中，便于分类。核函数有高斯核等,下面就直接上图看参数对模型的影响，从下图可以了解，当C变化时候，容错变小，泛化能力变小；当选择高斯核函数的时候，随时R参数调大，准确高提高，最终有过拟合风险；

![20170421165042338][]

下面就直接上代码了（鸢尾花SVM二特征分类）：

**\[python\]**  [view plain][]  [copy][view plain]

1.  iris\_feature = u'花萼长度', u'花萼宽度', u'花瓣长度', u'花瓣宽度'  
2.    
3.    
4.  if \_\_name\_\_ == "\_\_main\_\_":  
5.      path = 'iris.data'  \# 数据文件路径  
6.      data = pd.read\_csv(path, header=None)  
7.      x, y = data\[range(4)\], data\[4\]  
8.      y = pd.Categorical(y).codes  
9.      x = x\[\[0, 1\]\]  
10.     x\_train, x\_test, y\_train, y\_test = train\_test\_split(x, y, random\_state=1, train\_size=0.6)  
11.   
12.     \# 分类器  
13.     clf = svm.SVC(C=0.3, kernel='linear', decision\_function\_shape='ovo')  
14.     clf.fit(x\_train, y\_train.ravel())  
15.   
16.     \# 准确率  
17.     print clf.score(x\_train, y\_train)  \# 精度  
18.     print '训练集准确率：', accuracy\_score(y\_train, clf.predict(x\_train))  
19.     print clf.score(x\_test, y\_test)  
20.     print '测试集准确率：', accuracy\_score(y\_test, clf.predict(x\_test))  
21.     x1\_min, x2\_min = x.min()  
22.     x1\_max, x2\_max = x.max()  
23.     x1, x2 = np.mgrid\[x1\_min:x1\_max:500j, x2\_min:x2\_max:500j\]  \# 生成网格采样点  
24.     grid\_test = np.stack((x1.flat, x2.flat), axis=1)  \# 测试点  
25.   
26.     print 'grid\_test = \\n', grid\_test  
27.     Z = clf.decision\_function(grid\_test)  
28.     Z = Z\[:,0\].reshape(x1.shape)  
29.     print "decision\_function:",Z  
30.     grid\_hat = clf.predict(grid\_test)  
31.     grid\_hat = grid\_hat.reshape(x1.shape)  
32.     mpl.rcParams\['font.sans-serif'\] = \[u'SimHei'\]  
33.     mpl.rcParams\['axes.unicode\_minus'\] = False  
34.   
35.     cm\_light = mpl.colors.ListedColormap(\['\#A0FFA0', '\#FFA0A0', '\#A0A0FF'\])  
36.     cm\_dark = mpl.colors.ListedColormap(\['g', 'r', 'b'\])  
37.     plt.figure(facecolor='w')  
38.     plt.pcolormesh(x1, x2, grid\_hat, cmap=cm\_light)  
39.     plt.scatter(x\[0\], x\[1\], c=y, edgecolors='k', s=50, cmap=cm\_dark)      \# 样本  
40.     plt.scatter(x\_test\[0\], x\_test\[1\], s=120, facecolors='none', zorder=10)     \# 圈中测试集样本  
41.     plt.xlabel(iris\_feature\[0\], fontsize=13)  
42.     plt.ylabel(iris\_feature\[1\], fontsize=13)  
43.     plt.xlim(x1\_min, x1\_max)  
44.     plt.ylim(x2\_min, x2\_max)  
45.     plt.title(u'鸢尾花SVM二特征分类', fontsize=16)  
46.     plt.grid(b=True, ls=':')  
47.     plt.show()

最后画图如下：

![20170421165419185][]

转自：http://blog.csdn.net/lisi1129/article/details/70209945?fps=1&locationNum=8

[20170417132603201]: /images/20220602/6dafc6c36538467cb0a090cc918969ea.png
[20170417135111573]: /images/20220602/04d2a539fb154e9cac5a1c42be301013.png
[20170417150050328]: /images/20220602/54b2910a2c5a483498d2d6a3d5e976e8.png
[20170417154224582]: /images/20220602/1979cb80c70f4afd90109951ff64f51d.png
[20170417155301637]: /images/20220602/227d7c97f8a24ae5bbea974f9d2c5387.png
[20170417160726062]: /images/20220602/45273867d596455a999b9fc7668f6494.png
[20170417162830342]: /images/20220602/49cb90904a824dcdb7659d99b5db99af.png
[20170417162850153]: /images/20220602/20bcd55530f748278225028116588fba.png
[20170417163723501]: /images/20220602/1465e6f9f61b4736b1eae9135f86f9cb.png
[20170417165140228]: /images/20220602/ec130b8d0ca14038a514962ca3fc0a1f.png
[20170417165810929]: /images/20220602/b704176732ec4eb0880921d735fb9a6c.png
[20170417170917774]: /images/20220602/4df1c9d7f2ee46639a85b3ea923f22cc.png
[20170417171156518]: /images/20220602/a72f68c0f8a440dc84847cee699f868c.png
[20170417171229199]: /images/20220602/767537946dce4e78adc11ce1537ce8ba.png
[20170417175305398]: /images/20220602/ea1fd3eeb8b646f7a0ab78e191b3a1ec.png
[20170417175434290]: /images/20220602/41026e3c229d4d998084457f23d0c4e4.png
[20170417183438075]: /images/20220602/2422716d01504de09d0dae56b538df52.png
[20170418105006041]: /images/20220602/c21923f27b414ff7bbfb49a8e8b6485f.png
[20170421165042338]: /images/20220602/7b0960f0f74749279ec01a1232b0f07e.png
[view plain]: http://blog.csdn.net/lisi1129/article/details/70209945?fps=1&locationNum=8#
[20170421165419185]: /images/20220602/b6361ce8573e49a196384299305627bf.png