支持向量机原理（二）线性支持向量机的软间隔最大化模型

青旅半醒 2023-06-02 08:30 0阅读 0赞

[支持向量机原理（一）线性支持向量机][Link 1]

[支持向量机原理（二）线性支持向量机的软间隔最大化模型][Link 2]

[支持向量机原理（三）线性不可分支持向量机与核函数][Link 3]

**1. 线性分类SVM面临的问题**

(1)、有时候数据可以用线性分类SVM来求解，但因为混入异常点，导致不能线性可分，

比如下图：有一个蓝色和橙色异常点导致不能按照线性支持向量机方法来分类。

![1235684-20190705154151219-134509834.png][]

(2)、数据可分，但影响模型泛化能力。

比如下图：不考虑异常点，SVM的超平面应该是下图中的红线，但由于一个蓝色异常点，导致学习的超平面是下图中的粗虚线。

![1235684-20190705154951418-1276848289.png][]

**2. 线性分类SVM的软间隔最大化**

SVM对训练集里面的每个样本 (xi,yi) 引入一个松弛变量 ξi ≥ 0，使函数间隔加上松弛变量 ≥1，也就是说：

> **yi ( w•xi \+ b) ≥ 1-ξi**

对比硬间隔最大化，对样本到超平面的距离的要求放松了，之前 ≥1 ，现在加上一个 ≥0 的松弛变量满足 ≥1 即可。当然每一个松弛变量 ξi 对应一个代价 Cξi ，所以软间隔最大化的 SVM 模型为：

![1235684-20190705160210506-628695926.png][]

其中，C＞0为惩罚系数，可以理解为回归和分类问题的正则化参数。

**3. 线性分类SVM的软间隔最大化目标函数的优化**

和线性可分SVM的优化类似，先将软间隔最大化的约束问题用拉格朗日函数转化为无约束问题：

![1235684-20190705161208156-977277843.png][]

其中 ![1235684-20190705205132240-1316385624.png][]，均为拉格朗日系数。

也就是说，现在要优化的目标函数是：

![1235684-20190705205237714-1991386355.png][]

我们可以先求优化函数对于 ω，b，ξ 的极小值，接着再求拉格朗日乘子 α 和 μ 的极大值。

通过求偏导求优化函数对于 ω，b，ξ 的极小值：

![1235684-20190708105421722-1692554723.png][]

利用上面的式子消除 ω，b。

![1235684-20190708105524962-179018738.png][]

转载于:https://www.cnblogs.com/keye/p/11138981.html

[Link 1]: https://www.cnblogs.com/keye/p/10633530.html
[Link 2]: https://www.cnblogs.com/keye/p/11138981.html
[Link 3]: https://i.cnblogs.com/EditPosts.aspx?postid=11193558
[1235684-20190705154151219-134509834.png]: /images/20230601/e04599cf4bb343c4a5da52fef68d0aa0.png
[1235684-20190705154951418-1276848289.png]: /images/20230601/4bdb3670a3a74e2db0ce4c263c9a0cbb.png
[1235684-20190705160210506-628695926.png]: /images/20230601/15ededbd881e4eb09c7bc05ab2962fd2.png
[1235684-20190705161208156-977277843.png]: /images/20230601/cd7b5f2bad9040eba4884b45033adf54.png
[1235684-20190705205132240-1316385624.png]: /images/20230601/4863db564c5d4391bc88a2d600fcdb75.png
[1235684-20190705205237714-1991386355.png]: /images/20230601/28fe8ccc586442df8edb26e488808b77.png
[1235684-20190708105421722-1692554723.png]: /images/20230601/4893a6d991e74809ac3de7fe9b09ca77.png
[1235684-20190708105524962-179018738.png]: /images/20230601/b0dc3101a5524830b66585d7ec1b6469.png