深度学习：感知机perceptron

喜欢ヅ旅行 2022-06-17 09:24 327阅读 0赞

http://[blog.csdn.net/pipisorry/article/details/70477057][blog.csdn.net_pipisorry_article_details_70477057]

感知机是二分类的线性分类模型，输入是特征向量，输出是类别，取值+1，-1。

感知机学习旨在求出将训练数据进行线性划分的分离超平面wx + b = 0，其中w是超平面的法向量，b是超平面的截距。

**感知机模型**

1.分离超平面将样本点分成两部分，位于法向量w所指向的一面是正样本，另一面则是负样本；

2.由输入空间到输出空间的模型函数如下：  
![Center][]

**策略**

1.特征空间中任意一个样本点x0到分离超平面的距离可以记为：

![Center 1][]

2.感知机的模型策略是最小化误分类样本点到分离超平面的总距离（引入yi是为了消除距离公式中的绝对值，方便后续优化算法）：

![Center 2][]

不考虑||w||的影响，最终的损失函数可以记为：

![Center 3][]

**（四）算法**

1.感知机算法的最优化问题如下：

![Center 4][]

采用的最优化方法是随机梯度下降法（stochastic gradient descent，SGD）；

PS：

![Center 5][]

2.算法过程：

（1）选取初值w0，b0；

（2）在训练样本中随机选取数据（xi，yi）；

（3）如果样本点（xi，yi）属于误分类点，也就是满足：

![Center 6][]

那么对w，b进行更新：

![Center 7][]

其中![Center 8][]是步长，也称为学习率；

（4）转至（2），直至训练集中没有误分类点；

PS：（1）感知机学习算法由于采用不同的初值或选取不同的误分类点，解可以不同，也就是求出的分离超平面不止一种；

（2）感知机学习算法适用于线性可分数据集，当训练数据集线性不可分时，感知机学习算法不收敛；

from: [http://blog.csdn.net/pipisorry/article/details/70477057][blog.csdn.net_pipisorry_article_details_70477057]

ref:

[blog.csdn.net_pipisorry_article_details_70477057]: http://blog.csdn.net/pipisorry/article/details/70477057
[Center]: /images/20220617/d9b2c0a24a29426f87a1cde2bdc10f10.png
[Center 1]: /images/20220617/6b04bce926d44a0ea313c580f3461d51.png
[Center 2]: /images/20220617/0e74cf4377d741f7b99eb3aafa6202be.png
[Center 3]: /images/20220617/aa59e2e16a8241af94e5f908e23c07a8.png
[Center 4]: /images/20220617/c6ed8b6a2cb7468dbbc3837d79d3ec69.png
[Center 5]: /images/20220617/1e73b1f48bce48e7845fa4e8c2cc3c08.png
[Center 6]: /images/20220617/7c33e62c111f4cbbb71c7d40b6ec396b.png
[Center 7]: /images/20220617/20c0561b5018422fbf3dbf8acfea3b37.png
[Center 8]: /images/20220617/81f77146994b45209bdeee70f9d67242.png