python3 svm实现

﹏ヽ暗。殇╰゛Y 2022-10-02 01:45 158阅读 0赞

1，在svm向量机中我们要找到一个相平面来对数据进行分类；而这个相平面应该怎么样选择呢？  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA4MzI1_size_16_color_FFFFFF_t_70]  
现在我们给出两个相平面的分类图看看，而我们需要找到相平面法中边际最大的一个。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA4MzI1_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA4MzI1_size_16_color_FFFFFF_t_70 2]那么我们怎么样来找到这个相平面函数方程呢？  
我们可以定义一个向量方程W*X +b =0，而在这个例子中我们用到一个二维平面，及方程可以是w0+w1x1+w2x2=0(此方程就是上面larg margin里面的那条实线方程)。  
而在上面实线下面的方程可以表示为：w0+w1x1+w2x2<0,而实线上面的方程可以表示为：w0+w1x1+w2x2>0.  
为了统一调节weight,我们引入yi(+1或-1),从而将公式统一成一个公式：  
![在这里插入图片描述][20190616223028900.png]  
![在这里插入图片描述][20190616223053479.png]  
因此我们来用数学建模的方法来求解最优解吧！  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA4MzI1_size_16_color_FFFFFF_t_70 3]所以我们用求解直线间的距离公式来求解这两条直线（w*x+b=0和w\*x+b=c的距离)：两条平行直线之间的距离：（我们换中方法来求解两条直线之间的距离，定义直线的方程为L1:Ax+By+c1=0,L2:Ax+By+c2=0;故两直线之间的距离为：  
![在这里插入图片描述][20190616235501275.png]  
从而我们总结一下公式如下：  
![在这里插入图片描述][20190616235656110.PNG]  
所以我们可以得到如下的总结：  
约束条件和目标函数：  
![在这里插入图片描述][20190616234042372.PNG]  
构建拉格朗日数乘法来求解最优值：待补充：

2，我们来举一个简单例子来说明一下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA4MzI1_size_16_color_FFFFFF_t_70 4]代码实现如下：simplesvm.py

from sklearn import svm
    x = [[2, 0], [1, 1], [2, 3]]
    y = [0, 0, 1]
    #调用svm的分类器函数
    clf = svm.SVC(kernel = 'linear')
    #建立模型
    clf.fit(x, y)
    print(clf)
    # get support vectors
    print( clf.support_vectors_)
    # get indices of support vectors
    print( clf.support_)
    # get number of support vectors for each class
    print (clf.n_support_)

运行结果如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA4MzI1_size_16_color_FFFFFF_t_70 5]  
结果说明：SVC就是clf的打印；  
\[\[1,1\],\[2,3\]\]是满足svm的值，\[1 2\]表明支持向量机的下标点\[1 2\]表明找到第2和3个点满足。  
\[1 1\]表示找到了几个支持向量，相平面上面一个，下面一个。  
测试：  
代码最后一行加入：

print(clf.predict([[1,1]]))

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA4MzI1_size_16_color_FFFFFF_t_70]: /images/20220113/17be3ee832564e6c91d06cca29a7e80a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA4MzI1_size_16_color_FFFFFF_t_70 1]: /images/20220113/93356165281c4dab9b9b57cb8a41bada.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA4MzI1_size_16_color_FFFFFF_t_70 2]: /images/20220113/7e5b1da9274d42938c479ad1f8a67865.png
[20190616223028900.png]: /images/20220113/30ba42487f10417cb5b320a117e42a84.png
[20190616223053479.png]: /images/20220113/f7cbc12340d14804a9ced4d3e3d53f97.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA4MzI1_size_16_color_FFFFFF_t_70 3]: /images/20220113/f812844d19b949aa9875700d7988ede0.png
[20190616235501275.png]: /images/20220113/7848454d227d445abee08eb88739f637.png
[20190616235656110.PNG]: /images/20220113/d9cb1b829810418e8cd473ed7d3acec7.png
[20190616234042372.PNG]: /images/20220113/0417d83f3d1e46d5b57ff86ed44b4951.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA4MzI1_size_16_color_FFFFFF_t_70 4]: /images/20220113/06a1827951154f3690cd011d671a3c2c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwMDA4MzI1_size_16_color_FFFFFF_t_70 5]: /images/20220113/a0f3ba5a655a49a38bc08c3ee1e93c33.png