机器学习SVM函数

小鱼儿 2024-04-03 12:57 118阅读 0赞

#### 目录 ####

*  1 SVM的损失函数
 *  2 SVM的核方法
 *   *  2.1 什么是核函数
     *   *  2.1.1 核函数概念
         *  2.1.2 核函数举例
         *   *  2.1.2.1 核方法举例1
             *  2.1.2.2 核方法举例2
     *  2.2 常见核函数
     *  2.3 小结
 *  3 SVM回归

--------------------

## 1 SVM的损失函数 ##

在SVM中，我们主要讨论三种损失函数：

![image\_1b1vvangp18tc11dhis2q8h9k22a.png-67.4kB][image_1b1vvangp18tc11dhis2q8h9k22a.png-67.4kB]

*  **绿色：0/1损失**
    
     *  当正例的点落在y=0这个超平面的下边，说明是分类正确，无论距离超平面所远多近，误差都是0.
     *  当这个正例的样本点落在y=0的上方的时候，说明分类错误，无论距离多远多近，误差都为1.
     *  图像就是上图绿色线。
 *  **蓝色：SVM Hinge损失函数**
    
     *  当一个正例的点落在y=1的直线上，距离超平面长度1，那么1-ξ=1，ξ=0，也就是说误差为0；
     *  当它落在距离超平面0.5的地方，1-ξ=0.5，ξ=0.5，也就是说误差为0.5；
     *  当它落在y=0上的时候，距离为0，1-ξ=0，ξ=1，误差为1；
     *  当这个点落在了y=0的上方，被误分到了负例中，距离算出来应该是负的，比如-0.5，那么1-ξ=-0.5，ξ=1.5.误差为1.5.
     *  以此类推，画在二维坐标上就是上图中蓝色那根线了。
 *  **红色：Logistic损失函数**
    
     *  损失函数的公式为：ln(1+e^\{-y\_i\})*l\*\*n*(1+*e*−*y\*\*i*)
     *  当yi=0时，损失等于ln2,这样真丑，所以我们给这个损失函数除以ln2.
     *  这样到yi=0时，损失为1，即损失函数过（0，1）点
     *  即上图中的红色线。

> 拓展学习：PPT讲义

--------------------

## 2 SVM的核方法 ##

### 2.1 什么是核函数 ###

【SVM + 核函数】 具有极大威力。

核函数并不是SVM特有的，核函数可以和其他算法也进行结合，只是核函数与SVM结合的优势非常大。

#### 2.1.1 核函数概念 ####

核函数，是将原始输入空间映射到新的特征空间，从而，使得原本线性不可分的样本可能在核空间可分。

![image-20200204154534315][]

下图所示的两类数据，分别分布为两个圆圈的形状，这样的数据本身就是线性不可分的，此时该如何把这两类数据分开呢?

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mur7dXzJ-1665845616870)(images/1111.gif)\]

*  假设X是输入空间，
 *  H是特征空间，
 *  存在一个映射ϕ使得X中的点x能够计算得到H空间中的点h，
 *  对于所有的X中的点都成立：

![image-20190814000426859][]

若x，z是X空间中的点，函数k(x,z)满足下述条件，那么都成立，则称k为核函数，而ϕ为映射函数：

![image-20190814000453473][]

#### 2.1.2 核函数举例 ####

##### 2.1.2.1 核方法举例1 #####

![image-20190814000704864][]

![image-20200204151146946][]

![image-20200204151231279][]

![image-20190814000952741][]

--------------------

经过上面公式，具体变换过过程为：

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vR0CWJuy-1665845616873)(assets/image-20210811152410276.png)\]

##### 2.1.2.2 核方法举例2 #####

*  下面这张图位于第一、二象限内。我们关注红色的门，以及“北京四合院”这几个字和下面的紫色的字母。
 *  我们把红色的门上的点看成是“+”数据，字母上的点看成是“-”数据，它们的横、纵坐标是两个特征。
 *  显然，在这个二维空间内，“+”“-”两类数据不是线性可分的。

![image-20190814001147008][]

![image-20190814001223208][]

> （前后轴为x轴，左右轴为y轴，上下轴为z轴）

--------------------

*  绿色的平面可以完美地分割红色和紫色，两类数据在三维空间中变成线性可分的了。
 *  三维中的这个判决边界，再映射回二维空间中：**是一条双曲线，它不是线性的**。
 *  核函数的作用就是**一个从低维空间到高维空间的映射**，而这个映射可以把低维空间中线性不可分的两类点变成线性可分的。

![image-20190814001302313][]

### 2.2 常见核函数 ###

![image-20190814003133082][]

> 1.多项核中，d=1时，退化为线性核；
> 
> 2.高斯核亦称为RBF核。

*  线性核和多项式核：
    
     *  这两种核的作用也是首先在属性空间中找到一些点，把这些点当做base，核函数的作用就是找与该点距离和角度满足某种关系的样本点。
     *  当样本点与该点的夹角近乎垂直时，两个样本的欧式长度必须非常长才能保证满足线性核函数大于0；而当样本点与base点的方向相同时，长度就不必很长；而当方向相反时，核函数值就是负的，被判为反类。即，它在空间上划分出一个梭形，按照梭形来进行正反类划分。
 *  RBF核：
    
     *  高斯核函数就是在属性空间中找到一些点，这些点可以是也可以不是样本点，把这些点当做base，以这些base为圆心向外扩展，扩展半径即为带宽，即可划分数据。
     *  换句话说，在属性空间中找到一些超圆，用这些超圆来判定正反类。
 *  **Sigmoid核：**
    
     *  同样地是定义一些base，
     *  核函数就是将线性核函数经过一个tanh函数进行处理，把值域限制在了-1到1上。
 *  总之，都是在定义距离，大于该距离，判为正，小于该距离，判为负。至于选择哪一种核函数，要根据具体的样本分布情况来确定。

--------------------

*  一般有如下指导规则：
    
     *  1） 如果Feature的数量很大，甚至和样本数量差不多时，往往线性可分，这时选用LR或者线性核Linear；
     *  2） 如果Feature的数量很小，样本数量正常，不算多也不算少，这时选用RBF核；
     *  3） 如果Feature的数量很小，而样本的数量很大，这时手动添加一些Feature，使得线性可分，然后选用LR或者线性核Linear；
     *  4） 多项式核一般很少使用，效率不高，结果也不优于RBF；
     *  5） Linear核参数少，速度快；RBF核参数多，分类结果非常依赖于参数，需要交叉验证或网格搜索最佳参数，比较耗时；
     *  6）应用最广的应该就是RBF核，无论是小样本还是大样本，高维还是低维等情况，RBF核函数均适用。

--------------------

### 2.3 小结 ###

*  SVM的核方法
    
     *  将原始输入空间映射到新的特征空间，从而，使得原本线性不可分的样本可能在核空间可分。
 *  常见核函数
    
     *  线性核
     *  多项式核
     *  RBF核
     *  Sigmoid核

## 3 SVM回归 ##

**SVM回归**是让尽可能多的实例位于预测线上，同时限制间隔违例（也就是不在预测线距上的实例）。

线距的宽度由超参数ε控制。

![image-20190814003742055][]

[image_1b1vvangp18tc11dhis2q8h9k22a.png-67.4kB]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/81dc6214b2ad4980a8b48818b849a35d.jpeg
[image-20200204154534315]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/94aff9a512d646b29cbce560d7632e99.jpeg
[image-20190814000426859]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/0cdf5daffedb4011b4d37c14136310ae.jpeg
[image-20190814000453473]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/22a1dfef3fff45729b02a6cd08c621f3.jpeg
[image-20190814000704864]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/3767b9c1f61448b88835342db99ee10b.jpeg
[image-20200204151146946]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/f5dfd7a3ac9f426f813df66e8613b64b.jpeg
[image-20200204151231279]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/55bd32357bb94b408135e53ea617c672.jpeg
[image-20190814000952741]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/cd4670d8bb084bccb6cbde740fdb7e88.jpeg
[image-20190814001147008]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/20a9f874277e4549b32d32b10563e625.jpeg
[image-20190814001223208]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/f6784f6a167447ccbdb46880b8d52cb1.jpeg
[image-20190814001302313]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/10a03043069944c1be67c458506ed220.jpeg
[image-20190814003133082]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/3b001707e093497bbb6d2e5444a0ddd3.jpeg
[image-20190814003742055]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/03/7166b097e1134ae6a88e23c792474105.jpeg