深度学习2-线性单元和梯度下降

短命女 2024-05-01 16:13 66阅读 0赞

## **一、线性单元** ##

定义：线性单元是一种特殊的感知器，即当**数据集线性不可分**的时候，“感知器规则”可能无法收敛导致无法完成感知器的训练，于是我们用一个**线性可导的线性函数**代替感知器的跃迁函数。

原本的感知器

![22346bd70110435582f591ac1458438b.png][]

线性单元：

![3d35acc036a64c598eeff52e15f64f7c.png][]

跃迁函数替换成激活函数后，线性单元返回的是一个实数值而不是0或1

**线性模型：y是输入特征x1,x2...的线性组合**

![967dc982cd7c41119b7b22efa922fd97.png][]

## 二、监督学习和无监督学习 ##

监督学习与无监督学习的目的：通过模型训练**获得参数w的值**

**监督学习**：提供大量训练样本，每个训练样本包括输入特征x与对应的输出y

已知量：特征x，标记y（实际值），h（x）线性组合函数模型

通过h（x）模型得到预测值![b5d53044b47245b9875b109f5d77962e.png][]，通过数学方法让y与![774fe510e6024522ac928bec40c1e439.png][]越接近越好，可以用下面的e代表其接近程度，e叫做单个样本的误差

![0332af08e4ee4f0692786b011da0bb09.png][]

E代表整个模型的误差：

![043d2d7b34b14df1864c35d68bba76ab.png][]

![8e1bbc376ae74c8889c7e79d8c84e4c4.png][]

**无监督学习**：提供大量训练样本，每个训练样本只有输入特征x而没有对应的输出y

## 三、优化问题 ##

模型的训练，目的是高速且准确（E（w）取最小值）找出参数w的值，E（w）也被称为目标函数

#### 梯度下降优化算法 ####

梯度下降算法公式：

![319c3e2325704f4c81be7ece594c0e7c.png][]

式2代入上式

![c5f2f1dfb58f4759af8ed1e279333d0e.png][]

推导△E(w）后带入上式得

![57975b7383ae4b89941ea7cc9f4a3f4d.png][]

#### 随机梯度下降算法（SGD） ####

遍历数据中所有样本的算法叫做**批梯度下降（BGD）**，但计算量太大。SGD算法中，每次更新w的迭代，只计算一个样本，效率大大提升

![c4f9e643b4e04ecd8f4dd765d83dd20c.png][]

[22346bd70110435582f591ac1458438b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/f7b97ae7a82c42f089eef43f06763d17.png
[3d35acc036a64c598eeff52e15f64f7c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/4c0cbf2d475b42fa8094cd6d39103dc6.png
[967dc982cd7c41119b7b22efa922fd97.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/0b6f62ef89724521b3fd2709fadc2805.png
[b5d53044b47245b9875b109f5d77962e.png]: https://img-blog.csdnimg.cn/b5d53044b47245b9875b109f5d77962e.png
[774fe510e6024522ac928bec40c1e439.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/7901f9574c4b4b27bb9e9e9eb465346b.png
[0332af08e4ee4f0692786b011da0bb09.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/6296a7b529254184ab97b0ccc3dc6d80.png
[043d2d7b34b14df1864c35d68bba76ab.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/047e1bef6c5246bcbee083427aa26512.png
[8e1bbc376ae74c8889c7e79d8c84e4c4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/f2aad6b9fb4745f88cca66bff43e6120.png
[319c3e2325704f4c81be7ece594c0e7c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/ca1382c6d08b4f33bb8ac4dca20e434f.png
[c5f2f1dfb58f4759af8ed1e279333d0e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/d9d6961f44e14ba8aa058408fdc4d49e.png
[57975b7383ae4b89941ea7cc9f4a3f4d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/55331f76133940d394d78c646b6a18ea.png
[c4f9e643b4e04ecd8f4dd765d83dd20c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/cff9a5233cc44c5193594e771b91a295.png