线性可分svm的基本思想

悠悠 2023-09-23 20:14 98阅读 0赞

线性可分SVM的基本思想：一般数据线性可分时存在无穷多个分离超平面能将两类数据分开，线性SVM利用间隔最大化的策略求最优的分类超平面，解是唯一的。

数据说明：mm个样本点，y∈\{1,−1\}y∈\{1,−1\}，线性可分  
假设超平面：ωTx+b=0ωTx+b=0  
任意样本点xixi到面的距离：|ωTxi+b|||ω|||ωTxi+b|||ω||  
去分子绝对值：因为线性可分，分子可改写成yi(ωTxi+b)yi(ωTxi+b)得yi(ωTxi+b)||ω||yi(ωTxi+b)||ω||  
问题就转化为A：

问题A：  
max(minyi(ωTxi+b)||ω||)max(minyi(ωTxi+b)||ω||) ==> 求解目标  
s.t.yi(ωTxi+b)≥0i=1,..,ms.t.yi(ωTxi+b)≥0i=1,..,m ==> 线性可分的条件

由于等比例缩放ωω和bb并不会改变超平面，我们就取使得  
min(yi(ωTxi+b))=1min(yi(ωTxi+b))=1的这组ωω和bb。

SVM的基本思想  
SVM本质上来说是一个线性二分类器（可以先对输入X进行非线性变换再送入SVM从而实现非线性分类）

对于一个分类器来说，最希望得到的便是该分类器能正确分类所有的样本（设定正样本y=1，负样本y=-1），即![y\_i f(X\_i) = y\_i (W^T X\_i + b) > 0 &,& \\forall i][y_i f_X_i_ _ y_i _W_T X_i _ b_ _ 0 _ _forall i]

也即希望找到一个由确定的超平面，使得所有正样本都位于该平面的上方(>0)、所有负样本都位于该平面的下方(<0)，假设这样的超平面存在的话，那么往往会有多个，如下图所示，![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcWl1c3R1_size_16_color_FFFFFF_t_70][]

既然这样的超平面有多个，那么哪个才是最好的呢？从上图中，可以很直观的看出蓝色超平面比红色超平面好，因为其把正负样本分隔得最好，也就是所有样本到其的最小距离比红色超平面的大；也即是，希望找个一个所有样本到其的最小距离最大的超平面，根据点到超平面的距离公式，不明白的可参考文章SVM基础--超平面，

（![852ff6adeb09472d9bf0275cec603493.png][]

[y_i f_X_i_ _ y_i _W_T X_i _ b_ _ 0 _ _forall i]: https://private.codecogs.com/gif.latex?y_i%20f%28X_i%29%20%3D%20y_i%20%28W%5ET%20X_i%20&plus;%20b%29%20%3E%200%20%26%2C%26%20%5Cforall%20i
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcWl1c3R1_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200422001232482.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3llcWl1c3R1,size_16,color_FFFFFF,t_70
[852ff6adeb09472d9bf0275cec603493.png]: https://img-blog.csdnimg.cn/852ff6adeb09472d9bf0275cec603493.png