详解SVM支持向量机算法(一:感知器和SVM的优点)

Bertha 。 2022-09-16 11:21 249阅读 0赞

**目录**

了解线性和非线性

线性分类模型-感知器

感知器的算法思想：

分类超平面

回顾逻辑回归

逻辑回归的 0,1 转换到最初我们要的线性分类器结果 -1,1

几何距离和函数距离

如何计算点到超平面的距离

找到几何距离和函数距离

感知器的损失函数

SVM支持向量机

关于支持向量机

支持向量机的思想

感知器、逻辑回归、SVM的不同点

SVM思想的优点：

--------------------

# 了解线性和非线性 #

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16][]

两个变量之间按照比例成直线关系，在数学上可理解为一阶导数是个常数，这样的两个变量之间的关系就是“线性关系”；如果不是一次函数关系的——图象不是直线，不按照比例不成直线关系，一阶导数不为常数，就是“非线性关系”。比如说y=kx 就是线形的 而y=x^2就是非线形的 线形的图形一般是一条直线。

# 线性分类模型-感知器 #

## 感知器的算法思想： ##

感知器算法是最古老的分类算法之一，原理比较简单，不过模型的分类泛化能力比较弱，不过感知器模型是SVM、神经网络、深度学习等算法的基础。感知器的思想很简单：在任意空间中，感知器模型寻找的就是一个超平面，能够把所有的二元类别分割开。感知器模型的前提是：数据是线性可分的。

## 分类超平面 ##

线性分类模型就是要在n维的数据空间中找到一个超平面（hyper plane），这个超平面将会将样本X(表示样本数据点)分为两个类别Y(可以取1或者-1，分别代表两个不同的类)。

这个超平面的方程可以表示为（w 是垂直于超平面的一个向量，定义为法向量，而![w^T][w_T]中的T代表转置）：

![462355cae7e646009974921ef714c74e.jpg][]

## 回顾逻辑回归 ##

这个1或-1的分类标准起源于logistic回归，我们在上一篇文章中详细说到过逻辑回归

[机器学习算法之逻辑回归\_RayChiu757374816的博客-CSDN博客][RayChiu757374816_-CSDN]

Logistic回归目的是从特征学习出一个0/1分类模型，而这个模型是将特性的线性组合作为自变量，由于自变量的取值范围是负无穷到正无穷。因此，使用logistic函数（或称作sigmoid函数）将自变量映射到(0,1)上，映射后的值被认为是属于y=1的概率。

![d8a4be6614d6ebc09db2ec89a45d03d1.png][]

x是n维特征向量，函数g就是logistic函数(sigmoid函数)：![3679fe3a60bbdbb15f528a8f651e2524.png][]

，图像是：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16][]

上图可以看出sigmoid函数将线性结果负无穷到无穷映射到了(0,1)，我们还假设了sigmoid函数结果就是特征属于y=1的概率：

![4ed31212fe6ceb6982bb559fb964f05b.png][]

逻辑回归分类就看sigmoid函数结果![ce824a11b3aec6cf93e2505b7561bf72.png][]，结果大于0.5我们认为是一类，小于0.5我们认为是另一类，其实![ce824a11b3aec6cf93e2505b7561bf72.png][]大于0.5小于0.5最终根源还是取决于sigmoid函数之前的线性结果![41d482c974b655ff360e497e54f7a6fb.png][]，也就是说分类结果只和![41d482c974b655ff360e497e54f7a6fb.png][]相关，![41d482c974b655ff360e497e54f7a6fb.png][]决定了分为哪一类。

再者，当![44b161cc5150107a0c40e90b553661d8.png][]时，![f1a403fc511ec0d7ec7bf20c3166eafd.png][]=1，反之![b16dcd8afd0dd2264efd6423821a90a5.png][]=0。如果我们只从![41d482c974b655ff360e497e54f7a6fb.png][]出发，希望模型达到的目标就是让训练数据中y=1的特征![1095a50598267842545b0431db3cc7f6.png][]，而是y=0的特征![70bfa4d53d56aee58ebe755928608ba2.png][]。Logistic回归就是要学习得到![c9d4069f6cbc8933820d132ce1c3e781.png][]，使得正例的特征远大于0，负例的特征远小于0，而且要在全部训练实例上达到这个目标。

接下来，尝试把logistic回归做个变形。首先，将使用的结果标签y = 0和y = 1替换为y = -1,y = 1，然后将![91ab230f970f4f7b4c965383e3e6d594.png][]（![efa370df85bc10958100193ed9216309.png][]）中的![20140826150648949][]替换为b，最后将后面的![de864bddfa9410937e9495a1dfda454d.png][]替换为![de864bddfa9410937e9495a1dfda454d.png][]（即![b6a8eb176f645450ea14567038e51ebd.png][]）。如此，则有了![9c4ecf4885ad787b6116aad928ab5b76.png][]。也就是说除了y由y=0变为y=-1外，线性分类函数跟logistic回归的形式化表示![159164bc2cf6f6c014af77d028248df8.png][]没区别。

## 逻辑回归的 0,1 转换到最初我们要的线性分类器结果 -1,1 ##

接着逻辑回归函数![654b9440396479712e13f9af44ab4217.png][]讲，我们把g(z)做一个简化，将其简单映射到 y = -1 和y = 1上。映射关系如下：

![1edf77c3ca84b0ef7950fab23cf41bf3.png][]

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16][]

超平面分类函数![20131107201211968][]中，当f(x) 等于0的时候，x便是位于超平面上的点，而f(x)大于0的点对应 y=1 的数据点，f(x)小于0的点对应y=-1的点。

## **几何距离和函数距离** ##

### 如何计算点到超平面的距离 ###

中学我们学过点(xi,yi)到线ax+by+c=0的距离公式

![81c068e0c00548bbb6ae464944f13b8f.jpg][]

推导过程有兴趣可以回顾一下，看这里[点到直线距离公式的几种推导 - 知乎][-]

上边是二维平面场景的，高维中的距离公式：

![1fb5a7691f5f44548dadf4054791e1b2.jpg][]

其中x0是高维中的任意一个点，超平面是：![97ebe8c7c36c4606a70cdc4c421864d1.jpg][]

分母是L2范数![17608ee65758427a99462f85884b8bb2.jpg][]

### 找到几何距离和函数距离 ###

对于那些正确分类的点，分类结果上边提到了是-1或1，我们记作y0，y0必然与![72af09087a13478cafd993e4850d88d8.jpg][]

同号，因为上边同样我们说到， 线性结果![41d482c974b655ff360e497e54f7a6fb.png][]拥有分类决定权，![41d482c974b655ff360e497e54f7a6fb.png][]>0则y0为1，![41d482c974b655ff360e497e54f7a6fb.png][]

<0则y0为-1，因此高维空间的距离公式我们转换一下：

![31aae0c31ffb4a59adc12960ed9fc491.jpg][]

这个距离就是点到超平面的几何距离了，而分子![3272032f13c2432080da0d9e644a6275.jpg][]我们称作函数距离。函数间隔(函数距离)只是人为定义的一个间隔度量，而几何间隔|f(x)|/||w||才是直观上的点到超平面的距离。

注意几何距离是在实际的距离上乘了一个y0,实际的距离是

![20131107201759093][]

## 感知器的损失函数 ##

我们前边说到感知器就是要找到一个超平面让超平面把样本分开成两类，那么分类错的样本到超平面的距离和就是我们要控制的地方，因此我们设定损失函数为：**期望使分类错误的所有样本到超平面的距离之和最小**。

对于分类错误的点![4e518bc6ecda4831aeed23c23e9cf60e.png][] 与y0必然反号，为了让损失函数是大于0我们在错误点距离和上加个负号：

![b4eb54725c874ab286a80d7a1d82c187.jpg][]

观察上式我们得知分子和分母都有θ，并且由θ所处的情况看分子和分母存在倍数关系，因此我们可以将分子或者分母一方置为1简化上式，然后求另一个即分子或者分母的倒数的最小化作为损失函数，简化后的损失函数为（分母为1）:

![1f2e4536fd9d48fe9336e46c8d29b069.jpg][]

直接使用梯度下降法就可以对损失函数求解，不过由于这里的m是分类错误的样本点集合，不是固定的，所以我们不能使用批量梯度下降法(BGD)求解，只能使用随机梯度下降(SGD)或者小批量梯度下降(MBGD)；一般在感知器模型中使用SGD来求解。

![6b1f275d8a3349aa870da13c43b2a93c.jpg][]

# SVM支持向量机 #

## 关于支持向量机 ##

支持向量机(Support Vector Machine, SVM)也是一个二元分类算法，是对感知器算法模型的一种扩展，现在的SVM算法支持线性分类和非线性分类的分类应用，并且也能够直接将SVM应用于回归应用中，同时通过OvR或者OvO的方式我们也可以将SVM应用在多元分类领域中。很多情况下，在分类算法中SVM可以说是特别优秀的。

## 支持向量机的思想 ##

SVM也是通过寻找超平面来做二分类的分类算法,超平面一侧的点计算分数结果为负是负例，另一侧结果分数为正是正例，与感知机相同，通过sign给出预测标签，正例为+1，负例为-1，模型判别式同样：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16][]

## 感知器、逻辑回归、SVM的不同点 ##

逻辑回归是通过最大似然来找超平面，感知器是通过最小化错误点到超平面距离和来找超平面，而SVM是通过支持向量来找超平面的，也是三者损失函数不同的原因。

感知机和逻辑回归是直接最小化损失函数来得到θ，或者叫W和b，SVM有两种求解方式，一种是直接最小化损失函数来得到θ，另一种先寻找支持向量(下图中的Support Vectors)，找到支持向量超平面就自然找到了。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16 1][]

最大间距和支持向量 support vectors图

## SVM思想的优点： ##

如上图所示，样本分类的超平面可能不止一个，那么哪个是最好的呢，这里SVM提供了一个策略就是让距离超平面近的那些点距离超平面尽可能的远，有点绕，仔细理解一下就可以看出上图左右超平面分界线的区别了，可以看到左边的距离超平面近的那些点距离超平面相对于右边的**太近了**，效果不如右边的好。

如果最终我们找到的超平面是large margin这种效果，那么可想而知，来了新数据要让svm分类，鲁棒性是非常好的。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/f13c47e6e2a749569806cb597293febf.png
[w_T]: https://latex.codecogs.com/gif.latex?w%5ET
[462355cae7e646009974921ef714c74e.jpg]: /images/20220828/b4d46416af0e490f9714221d14daa015.png
[RayChiu757374816_-CSDN]: https://blog.csdn.net/RayChiu757374816/article/details/120760571
[d8a4be6614d6ebc09db2ec89a45d03d1.png]: /images/20220828/de4970ae157d4004bd29575f6e2a7be5.png
[3679fe3a60bbdbb15f528a8f651e2524.png]: /images/20220828/5f90875d75ad43c586f60dcf980554b5.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_10_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/27702e324804465886ef9ac4ad96ce93.png
[4ed31212fe6ceb6982bb559fb964f05b.png]: /images/20220828/fbecda132bd14f0487e47fff898ce527.png
[ce824a11b3aec6cf93e2505b7561bf72.png]: https://img-blog.csdnimg.cn/img_convert/ce824a11b3aec6cf93e2505b7561bf72.png
[41d482c974b655ff360e497e54f7a6fb.png]: /images/20220828/6865462c456f42f389b5a01075448aed.png
[44b161cc5150107a0c40e90b553661d8.png]: https://img-blog.csdnimg.cn/img_convert/44b161cc5150107a0c40e90b553661d8.png
[f1a403fc511ec0d7ec7bf20c3166eafd.png]: https://img-blog.csdnimg.cn/img_convert/f1a403fc511ec0d7ec7bf20c3166eafd.png
[b16dcd8afd0dd2264efd6423821a90a5.png]: https://img-blog.csdnimg.cn/img_convert/b16dcd8afd0dd2264efd6423821a90a5.png
[1095a50598267842545b0431db3cc7f6.png]: https://img-blog.csdnimg.cn/img_convert/1095a50598267842545b0431db3cc7f6.png
[70bfa4d53d56aee58ebe755928608ba2.png]: https://img-blog.csdnimg.cn/img_convert/70bfa4d53d56aee58ebe755928608ba2.png
[c9d4069f6cbc8933820d132ce1c3e781.png]: /images/20220828/ff79955653bc41c29f25a6ef5dd460c4.png
[91ab230f970f4f7b4c965383e3e6d594.png]: https://img-blog.csdnimg.cn/img_convert/91ab230f970f4f7b4c965383e3e6d594.png
[efa370df85bc10958100193ed9216309.png]: https://img-blog.csdnimg.cn/img_convert/efa370df85bc10958100193ed9216309.png
[20140826150648949]: https://img-blog.csdn.net/20140826150648949
[de864bddfa9410937e9495a1dfda454d.png]: https://img-blog.csdnimg.cn/img_convert/de864bddfa9410937e9495a1dfda454d.png
[b6a8eb176f645450ea14567038e51ebd.png]: https://img-blog.csdnimg.cn/img_convert/b6a8eb176f645450ea14567038e51ebd.png
[9c4ecf4885ad787b6116aad928ab5b76.png]: https://img-blog.csdnimg.cn/img_convert/9c4ecf4885ad787b6116aad928ab5b76.png
[159164bc2cf6f6c014af77d028248df8.png]: /images/20220828/d37549340a994c1f812e6d3ee66d2c9c.png
[654b9440396479712e13f9af44ab4217.png]: /images/20220828/a798e2a6227341b9929b75a94f425368.png
[1edf77c3ca84b0ef7950fab23cf41bf3.png]: /images/20220828/a223b7df744d46d3ac9ffb09c560910b.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/060db374ece34b46b849b082ae58c124.png
[20131107201211968]: /images/20220828/82714db3b4c34917b33282f5a8d458e1.png
[81c068e0c00548bbb6ae464944f13b8f.jpg]: /images/20220828/125b8c2727eb47e2b50c72bf99686cc5.png
[-]: https://zhuanlan.zhihu.com/p/26307123
[1fb5a7691f5f44548dadf4054791e1b2.jpg]: /images/20220828/5dde230e1f90407faec4777c427d26ac.png
[97ebe8c7c36c4606a70cdc4c421864d1.jpg]: /images/20220828/f2885b4aed9243218f46a12caf06c123.png
[17608ee65758427a99462f85884b8bb2.jpg]: /images/20220828/d210b44c482e43ae94d4068b11ba117f.png
[72af09087a13478cafd993e4850d88d8.jpg]: /images/20220828/8b57537741e74f7ab13a0c7682514307.png
[31aae0c31ffb4a59adc12960ed9fc491.jpg]: /images/20220828/94be4ceb315b4a8eabf2476629f2196b.png
[3272032f13c2432080da0d9e644a6275.jpg]: /images/20220828/5fb7872066df412f8c097b0a447b10fd.png
[20131107201759093]: /images/20220828/87aaf91867374b7d8b2771733f246d2d.png
[4e518bc6ecda4831aeed23c23e9cf60e.png]: /images/20220828/a3168577440c47a993683b897b503ebe.png
[b4eb54725c874ab286a80d7a1d82c187.jpg]: /images/20220828/eac3aab08f8447d4b3bc5dc3b744c6f3.png
[1f2e4536fd9d48fe9336e46c8d29b069.jpg]: /images/20220828/77f2095fb15146799ae8ff8957a6a2e7.png
[6b1f275d8a3349aa870da13c43b2a93c.jpg]: /images/20220828/18572f11f52242daa378a3a76a463fbb.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_8_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/10e7524d264948dc8cd238a28d7bb8b7.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAUmF5Q2hpdTc1NzM3NDgxNg_size_13_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/f49fa81a287f4f84b90adfb0f1112519.png