【ML算法】监督学习——支持向量机

骑猪看日落 2022-06-03 23:13 254阅读 0赞

### 前言 ###

这一系列文章将介绍各种机器学习算法，部分算法涉及公示推导，我的博客中另有板块介绍基于python和R实现各种机器学习算法，详情见置顶的目录。本文介绍支持向量机。我的GitHub上面也会有详细介绍，地址为：[https://github.com/roguesir][https_github.com_roguesir].

### 算法介绍 ###

支持向量机（Support Vector Machine，SVM），是一种杰出的机器学习算法，在深度神经网络兴起之前，一直成为大规模高级机器学习算法的首选。  
SVM与决策树、逻辑回归一样，是一种分类算法，监督学习算法，为了解决传统的线性不可分问题而设计的一种分类算法。

### 算法推导 ###

对于一个二分类问题，支持向量机要做的是将多维样本点从input space映射到feature space，这个feature space就是一个超平面，从而将线性不可分问题转化为线性可分问题。

![70][]

空间中的超平面可以表示为：$$ y =g(x)= wx + b\\tag\{1\}$$ 其中$w$ 的方向与超平面垂直，下面计算空间中一点到这个超平面的距离：$$ x = x' + \\lambda w\\tag\{2\}$$ $$g(x) = w(x'+\\lambda w) +b=wx'+b+\\lambda ww=\\lambda ww \\tag\{3\}$$所以，空间中任意一点到超平面的距离为： $$ d=||x-x'||=\\lambda w=\\frac\{|g(x)|\}\{||w||\} \\tag\{4\}$$ ![70 1][]

如此，原点到超平面的距离为： (5) d = ∣ b ∣ ∣ ∣ w ∣ ∣ d=\\frac\{|b|\}\{||w||\} \\tag\{5\} d=∣∣w∣∣∣b∣(5) 空间中会有很多个超平面可以将样本点分开，如何进行选择呢？这里引入了margin这个概念来衡量超平面的好坏。

![70 2][] 形成不同超平面的同时，也会产生不同的margin，这里可以理解为间隔，即分离正负样本点间的距离大小，我们的目标是产生最大间隔，即下图中左面的效果。

[https_github.com_roguesir]: https://github.com/roguesir
[70]: /images/20220604/98512086c0ef4b599f541727e7e452e5.png
[70 1]: /images/20220604/4eb9eacd0f1743da97499559578b1ba1.png
[70 2]: /images/20220604/fbb1f88ca5734949bae0bbd8a171a46c.png