机器学习-SVM支持向量机分类案例

ゝ一世哀愁。 2023-05-21 15:10 175阅读 0赞

## SVM做分类的案例-鸢尾花的三分类 ##

import pandas as pd
    import numpy as np
    from sklearn.preprocessing import LabelEncoder
    from sklearn.svm import SVC # SVM分类包
    from sklearn.model_selection import train_test_split
    from sklearn.metrics import accuracy_score
    import matplotlib as mpl
    import matplotlib.pyplot as plt
    import warnings
    warnings.filterwarnings('ignore')

**数据预处理的工作，便签化数据**

data = pd.read_csv(r'..\datas\iris.txt', header=None)
    x = data.iloc[:, :2]
    y = data.iloc[:, -1:]
    label = LabelEncoder()
    y = label.fit_transform(y)
    print(y)

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2)
    # 惩罚项系数， 高斯核函数进行处理   gamma=20
    clf = SVC(C=0.8, kernel='rbf', gamma=20, decision_function_shape='ovr')
    clf.fit(x_train, y_train.ravel())

**1、C：C-SVC的惩罚参数C，默认值是1.0**

C越大，相当于惩罚松弛变量，希望松弛变量接近0，即对误分类的惩罚增大，趋向于对训练集全分对的情况，这样对训练集测试时准确率很高，但泛化能力弱。C值小，对误分类的惩罚减小，允许容错，将他们当成噪声点，泛化能力较强。

**2、kernel ：核函数，默认是rbf，可以是‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’**

1.  线性
2.  项式：(gamma\*u’\*v + coef0)^degree
3.  RBF函数：exp(-gamma|u-v|^2)
4.  sigmoid：tanh(gamma\*u’\*v + coef0)

**degree** ：多项式poly函数的维度，默认是3，选择其他核函数时会被忽略。

**gamma** ： ‘rbf’,‘poly’ 和‘sigmoid’的核函数参数。默认是’auto’，则会选择1/n\_features

**coef0** ：核函数的常数项。对于‘poly’和 ‘sigmoid’有用。

**probability** ：是否采用概率估计？.默认为False

**shrinking** ：是否采用shrinking heuristic方法，默认为true

**tol** ：停止训练的误差值大小，默认为1e-3

**cache\_size** ：核函数cache缓存大小，默认为200

**class\_weight** ：类别的权重，字典形式传递。设置第几类的参数C为weight\*C(C-SVC中的C)

**verbose** ：允许冗余输出？

**max\_iter** ：最大迭代次数。-1为无限制。

**decision\_function\_shape** ：‘ovo’, ‘ovr’ or None, default=None3

**random\_state** ：数据洗牌时的种子值，int值

**训练集的准确率**

y_train_hat = clf.predict(x_train)
    print(accuracy_score(y_train, y_train_hat))

y_test_hat = clf.predict(x_test)
    print(accuracy_score(y_test, y_test_hat))

iris_feature = '花萼长度', '花萼宽度', '花瓣长度', '花瓣宽度'
    
    x1_min, x1_max = x.iloc[:, 0].min(), x.iloc[:, 0].max()  # 第0列的范围
    x2_min, x2_max = x.iloc[:, 1].min(), x.iloc[:, 1].max()  # 第1列的范围
    x1, x2 = np.mgrid[x1_min:x1_max:500j, x2_min:x2_max:500j]  # 生成网格采样点
    grid_test = np.stack((x1.flat, x2.flat), axis=1)  # 测试点
    
    Z = clf.decision_function(grid_test)  # 样本到决策面的距离
    print(Z)
    grid_hat = clf.predict(grid_test)  # 预测分类值
    print(grid_hat)

grid_hat = grid_hat.reshape(x1.shape)  # 使之与输入的形状相同
    mpl.rcParams['font.sans-serif'] = [u'SimHei']
    mpl.rcParams['axes.unicode_minus'] = False
    cm_light = mpl.colors.ListedColormap(['#A0FFA0', '#FFA0A0', '#A0A0FF'])
    cm_dark = mpl.colors.ListedColormap(['g', 'r', 'b'])
    x1_min, x1_max = x.iloc[:, 0].min(), x.iloc[:, 0].max()  # 第0列的范围
    x2_min, x2_max = x.iloc[:, 1].min(), x.iloc[:, 1].max()  # 第1列的范围
    x1, x2 = np.mgrid[x1_min:x1_max:500j, x2_min:x2_max:500j]  # 生成网格采样点
    grid_test = np.stack((x1.flat, x2.flat), axis=1)  # 测试点
    plt.pcolormesh(x1, x2, grid_hat, cmap=cm_light)
    
    plt.scatter(x.iloc[:, 0], x.iloc[:, 1], c=y, edgecolors='k', s=50, cmap=cm_dark)  # 样本
    plt.scatter(x_test.iloc[:, 0], x_test.iloc[:, 1], s=120, facecolors='none', zorder=10)  # 圈中测试集样本
    plt.xlabel(iris_feature[0], fontsize=13)
    plt.ylabel(iris_feature[1], fontsize=13)
    plt.xlim(x1_min, x1_max)
    plt.ylim(x2_min, x2_max)
    plt.title(u'鸢尾花SVM二特征分类', fontsize=15)
    plt.grid()
    plt.show()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3MzE1Ng_size_16_color_FFFFFF_t_70]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzY3MzE1Ng_size_16_color_FFFFFF_t_70]: /images/20230521/3797cceed3c64941854290d6287dc060.png