Python中的支持向量机SVM的使用（有实例有源码）

一时失言乱红尘 2023-10-07 12:35 7阅读 0赞

转自：http://www.cnblogs.com/luyaoblog/p/6775342.html

除了在Matlab中使用PRTools工具箱中的svm算法，Python中一样可以使用支持向量机做分类。因为Python中的sklearn库也集成了SVM算法，本文的运行环境是Pycharm。

一、导入sklearn算法包

Scikit-Learn库已经实现了所有基本机器学习的算法，具体使用详见官方文档说明：[http://scikit-learn.org/stable/auto\_examples/index.html\#support-vector-machines][http_scikit-learn.org_stable_auto_examples_index.html_support-vector-machines]。

skleran中集成了许多算法，其导入包的方式如下所示，

逻辑回归：from sklearn.linear\_model import LogisticRegression

朴素贝叶斯：from sklearn.naive\_bayes import GaussianNB

K-近邻：from sklearn.neighbors import KNeighborsClassifier

决策树：from sklearn.tree import DecisionTreeClassifier

支持向量机：from sklearn import svm

二、sklearn中svc的使用

（1）使用numpy中的loadtxt读入数据文件

loadtxt()的使用方法：

![format_png][]

fname:文件路径。eg：C:/Dataset/iris.txt。

dtype：数据类型。eg：float、str等。

delimiter：分隔符。eg：‘，’。

converters：将数据列与转换函数进行映射的字典。eg：\{1:fun\}，含义是将第2列对应转换函数进行转换。

usecols：选取数据的列。

以Iris兰花数据集为例子：

由于从UCI数据库中下载的Iris原始数据集的样子是这样的，前四列为特征列，第五列为类别列，分别有三种类别Iris-setosa， Iris-versicolor， Iris-virginica。

![format_png 1][]

当使用numpy中的loadtxt函数导入该数据集时，假设数据类型dtype为浮点型，但是很明显第五列的数据类型并不是浮点型。

因此我们要额外做一个工作，即通过loadtxt()函数中的converters参数将第五列通过转换函数映射成浮点类型的数据。

首先，我们要写出一个转换函数：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> </td> 
   <td> <p><code>def</code>&nbsp;<code>iris_type(s):</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>it&nbsp;</code><code>=</code>&nbsp;<code>{ </code><code>'Iris-setosa'</code><code>:&nbsp;</code><code>0</code><code>,&nbsp;</code><code>'Iris-versicolor'</code><code>:&nbsp;</code><code>1</code><code>,&nbsp;</code><code>'Iris-virginica'</code><code>:&nbsp;</code><code>2</code><code>}</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code>&nbsp;<code>it[s]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

接下来读入数据，converters=\{4: iris\_type\}中“4”指的是第5列：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>path&nbsp;</code><code>=</code>&nbsp;<code>u</code><code>'D:/f盘/python/学习/iris.data'</code>&nbsp;&nbsp;<code># 数据文件路径</code></p> <p><code>data&nbsp;</code><code>=</code>&nbsp;<code>np.loadtxt(path, dtype</code><code>=</code><code>float</code><code>, delimiter</code><code>=</code><code>','</code><code>, converters</code><code>=</code><code>{ </code><code>4</code><code>: iris_type})</code></p> </td> 
  </tr> 
 </tbody> 
</table>

读入结果：

![format_png 2][]

（2）将Iris分为训练集与测试集

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> </td> 
   <td> <p><code>x, y&nbsp;</code><code>=</code>&nbsp;<code>np.split(data, (</code><code>4</code><code>,), axis</code><code>=</code><code>1</code><code>)</code></p> <p><code>x&nbsp;</code><code>=</code>&nbsp;<code>x[:, :</code><code>2</code><code>]</code></p> <p><code>x_train, x_test, y_train, y_test&nbsp;</code><code>=</code>&nbsp;<code>train_test_split(x, y, random_state</code><code>=</code><code>1</code><code>, train_size</code><code>=</code><code>0.6</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

1. split(数据，分割位置，轴=1（水平分割） or 0（垂直分割）)。

2. x = x\[:, :2\]是为方便后期画图更直观，故只取了前两列特征值向量训练。

3. sklearn.model\_selection.train\_test\_split随机划分训练集与测试集。train\_test\_split(train\_data,train\_target,test\_size=数字, random\_state=0)

参数解释：

train\_data：所要划分的样本特征集

train\_target：所要划分的样本结果

test\_size：样本占比，如果是整数的话就是样本的数量

random\_state：是随机数的种子。

随机数种子：其实就是该组随机数的编号，在需要重复试验的时候，保证得到一组一样的随机数。比如你每次都填1，其他参数一样的情况下你得到的随机数组是一样的。但填0或不填，每次都会不一样。随机数的产生取决于种子，随机数和种子之间的关系遵从以下两个规则：种子不同，产生不同的随机数；种子相同，即使实例不同也产生相同的随机数。

（3）训练svm分类器

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> </td> 
   <td> <p><code># clf = svm.SVC(C=0.1, kernel='linear', decision_function_shape='ovr')</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>clf&nbsp;</code><code>=</code>&nbsp;<code>svm.SVC(C</code><code>=</code><code>0.8</code><code>, kernel</code><code>=</code><code>'rbf'</code><code>, gamma</code><code>=</code><code>20</code><code>, decision_function_shape</code><code>=</code><code>'ovr'</code><code>)</code></p> <p><code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>clf.fit(x_train, y_train.ravel())</code></p> </td> 
  </tr> 
 </tbody> 
</table>

kernel='linear'时，为线性核，C越大分类效果越好，但有可能会过拟合（defaul C=1）。

kernel='rbf'时（default），为高斯核，gamma值越小，分类界面越连续；gamma值越大，分类界面越“散”，分类效果越好，但有可能会过拟合。

decision\_function\_shape='ovr'时，为one v rest，即一个类别与其他类别进行划分，

decision\_function\_shape='ovo'时，为one v one，即将类别两两之间进行划分，用二分类的方法模拟多分类的结果。

（4）计算svc分类器的准确率

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> <p>6</p> </td> 
   <td> <p><code>print</code>&nbsp;<code>clf.score(x_train, y_train)&nbsp;&nbsp;</code><code># 精度</code></p> <p><code>y_hat&nbsp;</code><code>=</code>&nbsp;<code>clf.predict(x_train)</code></p> <p><code>show_accuracy(y_hat, y_train,&nbsp;</code><code>'训练集'</code><code>)</code></p> <p><code>print</code>&nbsp;<code>clf.score(x_test, y_test)</code></p> <p><code>y_hat&nbsp;</code><code>=</code>&nbsp;<code>clf.predict(x_test)</code></p> <p><code>show_accuracy(y_hat, y_test,&nbsp;</code><code>'测试集'</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

结果为：

![format_png 3][]

如果想查看决策函数，可以通过decision\_function()实现

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>print</code>&nbsp;<code>'decision_function:\n'</code><code>, clf.decision_function(x_train)</code></p> <p><code>print</code>&nbsp;<code>'\npredict:\n'</code><code>, clf.predict(x_train)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

结果为：

![format_png 4][]![format_png 5][]

decision\_function中每一列的值代表距离各类别的距离。

（5）绘制图像

1.确定坐标轴范围，x，y轴分别表示两个特征

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> </td> 
   <td> <p><code>x1_min, x1_max&nbsp;</code><code>=</code>&nbsp;<code>x[:,&nbsp;</code><code>0</code><code>].</code><code>min</code><code>(), x[:,&nbsp;</code><code>0</code><code>].</code><code>max</code><code>()&nbsp;&nbsp;</code><code># 第0列的范围</code></p> <p><code>x2_min, x2_max&nbsp;</code><code>=</code>&nbsp;<code>x[:,&nbsp;</code><code>1</code><code>].</code><code>min</code><code>(), x[:,&nbsp;</code><code>1</code><code>].</code><code>max</code><code>()&nbsp;&nbsp;</code><code># 第1列的范围</code></p> <p><code>x1, x2&nbsp;</code><code>=</code>&nbsp;<code>np.mgrid[x1_min:x1_max:</code><code>200j</code><code>, x2_min:x2_max:</code><code>200j</code><code>]&nbsp;&nbsp;</code><code># 生成网格采样点</code></p> <p><code>grid_test&nbsp;</code><code>=</code>&nbsp;<code>np.stack((x1.flat, x2.flat), axis</code><code>=</code><code>1</code><code>)&nbsp;&nbsp;</code><code># 测试点</code></p> <p><code># print 'grid_test = \n', grid_testgrid_hat = clf.predict(grid_test)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; # 预测分类值grid_hat = grid_hat.reshape(x1.shape)&nbsp; # 使之与输入的形状相同</code></p> </td> 
  </tr> 
 </tbody> 
</table>

这里用到了mgrid()函数，该函数的作用这里简单介绍一下：

假设假设目标函数F（x，y）=x+y。x轴范围1~3，y轴范围4~6，当绘制图像时主要分四步进行：

【step1：x扩展】(朝右扩展)：

\[1 1 1\]

\[2 2 2\]

\[3 3 3\]

【step2：y扩展】(朝下扩展)：

\[4 5 6\]

【step3：定位（xi，yi）】：

\[(1,4) (1,5) (1,6)\]

\[(2,4) (2,5) (2,6)\]

\[(3,4) (3,5) (3,6)\]

【step4：将（xi，yi）代入F(x,y)=x+y】

因此这里x1, x2 = np.mgrid\[x1\_min:x1\_max:200j, x2\_min:x2\_max:200j\]后的结果为：

![format_png 6][]

再通过stack()函数，axis=1，生成测试点

![format_png 7][]

2.指定默认字体

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>mpl.rcParams[</code><code>'font.sans-serif'</code><code>]&nbsp;</code><code>=</code>&nbsp;<code>[u</code><code>'SimHei'</code><code>]</code></p> <p><code>mpl.rcParams[</code><code>'axes.unicode_minus'</code><code>]&nbsp;</code><code>=</code>&nbsp;<code>False</code></p> </td> 
  </tr> 
 </tbody> 
</table>

3.绘制

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> <p>6</p> <p>7</p> <p>8</p> <p>9</p> <p>10</p> <p>11</p> <p>12</p> </td> 
   <td> <p><code>cm_light&nbsp;</code><code>=</code>&nbsp;<code>mpl.colors.ListedColormap([</code><code>'#A0FFA0'</code><code>,&nbsp;</code><code>'#FFA0A0'</code><code>,&nbsp;</code><code>'#A0A0FF'</code><code>])</code></p> <p><code>cm_dark&nbsp;</code><code>=</code>&nbsp;<code>mpl.colors.ListedColormap([</code><code>'g'</code><code>,&nbsp;</code><code>'r'</code><code>,&nbsp;</code><code>'b'</code><code>])</code></p> <p><code>plt.pcolormesh(x1, x2, grid_hat, cmap</code><code>=</code><code>cm_light)</code></p> <p><code>plt.scatter(x[:,&nbsp;</code><code>0</code><code>], x[:,&nbsp;</code><code>1</code><code>], c</code><code>=</code><code>y, edgecolors</code><code>=</code><code>'k'</code><code>, s</code><code>=</code><code>50</code><code>, cmap</code><code>=</code><code>cm_dark)&nbsp;&nbsp;</code><code># 样本</code></p> <p><code>plt.scatter(x_test[:,&nbsp;</code><code>0</code><code>], x_test[:,&nbsp;</code><code>1</code><code>], s</code><code>=</code><code>120</code><code>, facecolors</code><code>=</code><code>'none'</code><code>, zorder</code><code>=</code><code>10</code><code>)&nbsp;&nbsp;</code><code># 圈中测试集样本</code></p> <p><code>plt.xlabel(u</code><code>'花萼长度'</code><code>, fontsize</code><code>=</code><code>13</code><code>)</code></p> <p><code>plt.ylabel(u</code><code>'花萼宽度'</code><code>, fontsize</code><code>=</code><code>13</code><code>)</code></p> <p><code>plt.xlim(x1_min, x1_max)</code></p> <p><code>plt.ylim(x2_min, x2_max)</code></p> <p><code>plt.title(u</code><code>'鸢尾花SVM二特征分类'</code><code>, fontsize</code><code>=</code><code>15</code><code>)</code></p> <p><code># plt.grid()</code></p> <p><code>plt.show()</code></p> </td> 
  </tr> 
 </tbody> 
</table>

pcolormesh(x,y,z,cmap)这里参数代入x1，x2，grid\_hat，cmap=cm\_light绘制的是背景。

scatter中edgecolors是指描绘点的边缘色彩，s指描绘点的大小，cmap指点的颜色。

xlim指图的边界。

最终结果为：

![format_png 8][]

源码：

`# -*- coding:utf-8 -*-`

`from` `sklearn``import` `svm`

`import` `numpy as np`

`import` `matplotlib.pyplot as plt`

`import` `matplotlib as mpl`

`from` `matplotlib``import` `colors`

`from` `sklearn.model_selection``import` `train_test_split`

`def` `iris_type(s):`

```it``=` `{``'Iris-setosa'``:``0``,``'Iris-versicolor'``:``1``,``'Iris-virginica'``:``2``}`

```return` `it[s]`

`def` `show_accuracy(y_hat, y_test, param):`

```pass`

`path``=` `'F:\\Test\\iris.data'` `# 数据文件路径`

`data``=` `np.loadtxt(path, dtype``=``float``, delimiter``=``','``, converters``=``{``4``: iris_type})`

`x, y``=` `np.split(data, (``4``,), axis``=``1``)`

`x``=` `x[:, :``2``]`

`x_train, x_test, y_train, y_test``=` `train_test_split(x, y, random_state``=``1``, train_size``=``0.6``)`

`# clf = svm.SVC(C=0.1, kernel='linear', decision_function_shape='ovr')`

`clf``=` `svm.SVC(C``=``0.8``, kernel``=``'rbf'``, gamma``=``20``, decision_function_shape``=``'ovr'``)`

`clf.fit(x_train, y_train.ravel())`

`print` `clf.score(x_train, y_train)``# 精度`

`y_hat``=` `clf.predict(x_train)`

`show_accuracy(y_hat, y_train,``'训练集'``)`

`print` `clf.score(x_test, y_test)`

`y_hat``=` `clf.predict(x_test)`

`show_accuracy(y_hat, y_test,``'测试集'``)`

`print` `'decision_function:\n'``, clf.decision_function(x_train)`

`print` `'\npredict:\n'``, clf.predict(x_train)`

`x1_min, x1_max``=` `x[:,``0``].``min``(), x[:,``0``].``max``()``# 第0列的范围`

`x2_min, x2_max``=` `x[:,``1``].``min``(), x[:,``1``].``max``()``# 第1列的范围`

`x1, x2``=` `np.mgrid[x1_min:x1_max:``200j``, x2_min:x2_max:``200j``]``# 生成网格采样点`

`grid_test``=` `np.stack((x1.flat, x2.flat), axis``=``1``)``# 测试点`

`mpl.rcParams[``'font.sans-serif'``]``=` `[u``'SimHei'``]`

`mpl.rcParams[``'axes.unicode_minus'``]``=` `False`

`cm_light``=` `mpl.colors.ListedColormap([``'#A0FFA0'``,``'#FFA0A0'``,``'#A0A0FF'``])`

`cm_dark``=` `mpl.colors.ListedColormap([``'g'``,``'r'``,``'b'``])`

`# print 'grid_test = \n', grid_test`

`grid_hat``=` `clf.predict(grid_test)``# 预测分类值`

`grid_hat``=` `grid_hat.reshape(x1.shape)``# 使之与输入的形状相同`

`alpha``=` `0.5`

`plt.pcolormesh(x1, x2, grid_hat, cmap``=``cm_light)``# 预测值的显示`

`# plt.scatter(x[:, 0], x[:, 1], c=y, edgecolors='k', s=50, cmap=cm_dark) # 样本`

`plt.plot(x[:,``0``], x[:,``1``],``'o'``, alpha``=``alpha, color``=``'blue'``, markeredgecolor``=``'k'``)`

`plt.scatter(x_test[:,``0``], x_test[:,``1``], s``=``120``, facecolors``=``'none'``, zorder``=``10``)``# 圈中测试集样本`

`plt.xlabel(u``'花萼长度'``, fontsize``=``13``)`

`plt.ylabel(u``'花萼宽度'``, fontsize``=``13``)`

`plt.xlim(x1_min, x1_max)`

`plt.ylim(x2_min, x2_max)`

`plt.title(u``'鸢尾花SVM二特征分类'``, fontsize``=``15``)`

`# plt.grid()`

`plt.show()`

`来源:`[https://blog.csdn.net/yaoxy/article/details/78878446][https_blog.csdn.net_yaoxy_article_details_78878446]

[http_scikit-learn.org_stable_auto_examples_index.html_support-vector-machines]: http://scikit-learn.org/stable/auto_examples/index.html#support-vector-machines
[format_png]: https://imgconvert.csdnimg.cn/aHR0cDovL2ltYWdlczIwMTUuY25ibG9ncy5jb20vYmxvZy81NDEyNzYvMjAxNzA0LzU0MTI3Ni0yMDE3MDQyNjE3MDM0MzEzMS0xNjI1MzYzNjIyLnBuZw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cDovL2ltYWdlczIwMTUuY25ibG9ncy5jb20vYmxvZy81NDEyNzYvMjAxNzA0LzU0MTI3Ni0yMDE3MDQyNjE4MTc0NTYxNS0xMDA3MDUzNjY0LnBuZw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cDovL2ltYWdlczIwMTUuY25ibG9ncy5jb20vYmxvZy81NDEyNzYvMjAxNzA0LzU0MTI3Ni0yMDE3MDQyNjE4NDAyOTA1My0zNjI5MTExMDkucG5n?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cDovL2ltYWdlczIwMTUuY25ibG9ncy5jb20vYmxvZy81NDEyNzYvMjAxNzA0LzU0MTI3Ni0yMDE3MDQyNzE2MDk0OTE5NC0xNjU3MjIwMzcucG5n?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cDovL2ltYWdlczIwMTUuY25ibG9ncy5jb20vYmxvZy81NDEyNzYvMjAxNzA0LzU0MTI3Ni0yMDE3MDQyNzE2MTMxMDMxOS0xODc5NTY2NjQ0LnBuZw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cDovL2ltYWdlczIwMTUuY25ibG9ncy5jb20vYmxvZy81NDEyNzYvMjAxNzA0LzU0MTI3Ni0yMDE3MDQyNzE2MTMyODQ5MC0xMDMyMTU2MzE4LnBuZw?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cDovL2ltYWdlczIwMTUuY25ibG9ncy5jb20vYmxvZy81NDEyNzYvMjAxNzA0LzU0MTI3Ni0yMDE3MDQyNzE2NTIxNTE0Ny0xNjA0OTE2NDYzLnBuZw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cDovL2ltYWdlczIwMTUuY25ibG9ncy5jb20vYmxvZy81NDEyNzYvMjAxNzA0LzU0MTI3Ni0yMDE3MDQyNzE2NTQzMjk3NS0zNTQ4NTI3NjAucG5n?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cDovL2ltYWdlczIwMTUuY25ibG9ncy5jb20vYmxvZy81NDEyNzYvMjAxNzA0LzU0MTI3Ni0yMDE3MDQyNzE3MzIyMDUzNy0xNzQxNjMyODc2LnBuZw?x-oss-process=image/format,png
[https_blog.csdn.net_yaoxy_article_details_78878446]: https://blog.csdn.net/yaoxy/article/details/78878446