深度学习3-神经网络和反向传播算法

深碍√TFBOYSˉ_ 2024-05-01 16:13 72阅读 0赞

### 神经元 ###

神经元与感知器本质相同，但感知器的激活函数是跃迁函数；神经元的激活函数是**sigmoid函数或双曲正切函数**

![c9f77bfbc68841a284ea3c81c96082d6.png][]

#### Sigmoid函数： ####

![dd0c7c1e413ab90fe9b5b27a36f69abe.png][]

![fcce1b6102f19a83042932545785cda1.png][]

#### tanh函数： ####

![a12007ac99d64c39ae93a898c8a17d71.png][]

![d935a4d1528d42e9af027bee6cafd963.png][]

### 神经网络的输出 ###

神经网络实际上就是一个输入向量x到输出向量y的函数：

![ae9ff292660447e1a6b44276c889ccf9.png][]

以**全连接神经网络**为例：

![4b20f783c35440aa9cdc42fc8bcb1aac.png][]![669ca251c1e84f63b52aba0640b07982.png][]

通过线性代数的知识可以推导出：![3164375dc34f47b5ae75c8fcf1bf1503.png][]

向量a为某层输出向量，f是激活函数，W是权重矩阵，向量x为每层输入向量。以此类推，深层神经网络中，左侧输入向量左乘一个权重矩阵，得到一个新的向量，这个向量再作为输入向量左乘下一层权重矩阵，直到最后一层得到输出向量y。

### 神经网络的训练 ###

**超参数**：神经网络的连接方式、网络层数、每层的节点数，超参数是人为设置的，而不是学习出来的。

**反向传播算法：**

**由于计算某个节点的误差项，需要先计算每个与其相连的下一层节点的误差项，这就要求误差项的计算必须先从输出层开始，然后反向计算每个隐藏层的误差项，直到与输入层相连的隐藏层。所有节点误差项计算完成后，用式5更新权重。**

假设每个训练样本为（向量x，向量t） ，其中向量x是训练样本的特征，而向量t是样本的目标值。

对于输出层第i个节点的误差项：

![2285a8d89572406fa3587763c8f4f474.png][]

对于隐藏层第i个节点的误差项：

![6bfc140223654b0199af6d5129845131.png][]

更新每个连接上的权值：

### ![d4ade7b0c78c464992239cd224c7d76f.png][]   神经网络的实现 ###

![fb2ca05e70a8442ab8d45452ca62ac28.png][]

### 梯度检查 ###

通过梯度检查判断参数wji是否正确，进而判断是否有bug

![36e4b74da6e949baa3644db2771f1097.png][]

[c9f77bfbc68841a284ea3c81c96082d6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/2abbdf2589f5490fb3975c929b7f5d53.png
[dd0c7c1e413ab90fe9b5b27a36f69abe.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/e05e15b4cde14f238b1d2615b9c220c5.png
[fcce1b6102f19a83042932545785cda1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/94034edf18d34796bd21a0435a8a1905.png
[a12007ac99d64c39ae93a898c8a17d71.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/ba10a314eeba4efdb451466a50d90850.png
[d935a4d1528d42e9af027bee6cafd963.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/c8a5363e80b0441e882f44748594a783.png
[ae9ff292660447e1a6b44276c889ccf9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/61e330e7b23e4c02addf5775c6497636.png
[4b20f783c35440aa9cdc42fc8bcb1aac.png]: https://img-blog.csdnimg.cn/4b20f783c35440aa9cdc42fc8bcb1aac.png
[669ca251c1e84f63b52aba0640b07982.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/2c23c1374e0d4144815c4fc42fef1f3e.png
[3164375dc34f47b5ae75c8fcf1bf1503.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/f5f8217f4339472c86921a210dd5c384.png
[2285a8d89572406fa3587763c8f4f474.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/fe892bf71e354d1bb51a733da0e70359.png
[6bfc140223654b0199af6d5129845131.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/bcc549efa0154750b0f920c56326a654.png
[d4ade7b0c78c464992239cd224c7d76f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/d9f637668ecb4c7ea6e4173bfc254991.png
[fb2ca05e70a8442ab8d45452ca62ac28.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/4f26c46366d44561b79c9f0e76403520.png
[36e4b74da6e949baa3644db2771f1097.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/05/01/42c8eaf318f9414ba3b8635d429eb071.png