机器学习算法之感知机算法

蔚落 2023-06-11 04:21 67阅读 0赞

# 前言 #

感知机算法是一个比较古老的机器学习算法了，是Rosenblatt在1957年提出的，是神经网络和支持向量机的基础。感知机算法只能解决线性分类模型。

# 算法原理 #

## 1. 感知机算法的原始形式 ##

感知机模型可以表示为：f(x)=sign(w\*x+b)  
其中w为权值，b为偏置，w \* x表示内积，sign为符号函数。然后我们需要 建立误分类的损失函数，误分类点到超平面的总距离，损失函数是连续可导函数。损失函数表示为：  
![在这里插入图片描述][20191029092338727.png]感知机算法的目标就是要最小化这个损失函数，使得误分类点个数为0，这也要求数据集是线性可分的。感知机算法的算法过程如下图所示：

![在这里插入图片描述][20191029092644461.png]这个算法过程中的梯度更新比较难理解，需要推导一下，过程如下（从南瓜书截图）：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3Rfc29ydA_size_16_color_FFFFFF_t_70]然后从李航的《统计学习方法》中可以知道，如果数据集是线性可分的，那么感知算法一定会收敛，并且误分类次数是有上界的，有兴趣可以取看一下这个不等式推导。

## 2.感知机算法的对偶形式 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3Rfc29ydA_size_16_color_FFFFFF_t_70 1]

# 代码实现 #

这里拿出iris数据集中的两个分类的数据，并以\[sepal length，sepal width\]作为特征，这里实现感知机算法的原始形式。实验代码如下：

#coding=utf-8
    from sklearn.datasets import load_iris
    import pandas as pd
    import numpy as np
    import matplotlib.pyplot as plt
    
    # 加载鸢尾花数据集
    iris = load_iris()
    df = pd.DataFrame(iris.data, columns=iris.feature_names)
    df['label'] = iris.target
    # 行列数据标注
    df.columns = ['sepal length', 'sepal width', 'petal length', 'petal width', 'label']
    # print (df.label.value_counts())
    print(df.head(10))
    
    # 数据可视化
    plt.scatter(df[:50]['sepal length'], df[:50]['sepal width'], c='red', label='0')
    plt.scatter(df[50:100]['sepal length'], df[50:100]['sepal width'], c='blue', label='1')
    plt.xlabel('sepal length')
    plt.ylabel('sepal width')
    #plt.show()
    
    # 选择特征和标签
    data = np.array(df.iloc[:100, [0, 1, -1]])
    X, y = data[:, :-1], data[:, -1]
    y = np.array([1 if i == 1 else -1 for i in y]) #将label中的0标签替换为-1
    
    # 开始实现感知机算法
    
    class Model:
        # 初始化
        def __init__(self):
            # 初始化权重
            self.w = np.ones(len(data[0]) - 1, dtype=np.float32)
            # 初始化偏执
            self.b = 0
            # 学习率
            self.l_rate = 0.1
    
        # 定义符号函数sign
        def sign(self, x, w, b):
            y = np.dot(x, w) + b
            return y
    
        # 随机梯度下降法
        def fit(self, X_train, y_train):
            is_wrong = False
            while not is_wrong:
                wrong_cnt = 0
                for i in range(len(X_train)):
                    X = X_train[i]
                    y = y_train[i]
                    if (y * self.sign(X, self.w, self.b) <= 0):
                        # 更新权重
                        self.w = self.w + self.l_rate * np.dot(y, X)
                        # 更新步长
                        self.b = self.b + self.l_rate * y
                        wrong_cnt += 1
                if(wrong_cnt == 0):
                    is_wrong  = True
    
            return 'Perceptron Model!'
    
        def score(self):
            pass
    
    
    # 开始调用感知机模型
    perceptron = Model()
    perceptron.fit(X, y)
    # 可视化超平面
    x_points = np.linspace(4, 7, 10)
    # 误分类点到超平面的距离
    y_ = -(perceptron.w[0] * x_points + perceptron.b) / perceptron.w[1]
    plt.plot(x_points, y_)
    plt.scatter(df[:50]['sepal length'], df[:50]['sepal width'], c='red', label='0')
    plt.scatter(df[50:100]['sepal length'], df[50:100]['sepal width'], c='blue', label='1')
    plt.xlabel('sepal length')
    plt.ylabel('sepal width')
    plt.show()

# 结果图 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3Rfc29ydA_size_16_color_FFFFFF_t_70 2]  
可以看到数据已经被学习到的直线完全分开了，说明我们的感知机算法在线性分类问题中的有效性。

[20191029092338727.png]: /images/20230531/158c94b31095471fb0f7520f529b579e.png
[20191029092644461.png]: /images/20230531/13e40c390ee148f2965dddd9a6b7b024.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3Rfc29ydA_size_16_color_FFFFFF_t_70]: /images/20230531/29a98e493a8f4c8b9d815eaafa3a22e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3Rfc29ydA_size_16_color_FFFFFF_t_70 1]: /images/20230531/40bdd8136aa44058a28bb48c05894df1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2p1c3Rfc29ydA_size_16_color_FFFFFF_t_70 2]: /images/20230531/dfe9682a93b14681b66f057ce7a7f109.png