计算机视觉中的深度学习6: 反向传播

忘是亡心i 2022-11-30 05:54 273阅读 0赞

Slides：[百度云][Link 1] 提取码: gs3n

## 神经网络的梯度下降 ##

我们之前在学习线性分类器的时候，使用Loss函数以及梯度下降法来更新权重。那么对于神经网络，我们该如何计算每层神经元的权重呢？

### 对每层W直接求导（愚蠢的方法） ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center]  
如上公式所示，Loss函数最终是能被表达成由各层W组成的函数公式，并且也完全有可能直接对其进行求导。

问题

*  非常乏味，需要大量矩阵演算，需要大量纸张
 *  如果我们想改变损失怎么办？ 例如。 使用softmax代替SVM？ 需要从头开始重新派生。这种方式不是模块化的。
 *  对于非常复杂的NN模型不可行！

### 计算图 ###

公式 f ( x , y , z ) = ( x + y ) z f(x,y,z)=(x+y)z f(x,y,z)=(x\+y)z的计算图如下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 1]

#### 例子1 ####

1.  向前传播过程
    
    1.   q = x + y    ,   f = q z q = x+y\\ \\ , \\ f=qz q=x\+y  , f=qz
    2.  ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 2]
2.  反向传播过程
    
    1.  我们想要的是 ∂ f ∂ x \\partial f\\over \\partial x ∂x∂f,  ∂ f ∂ y \\partial f\\over \\partial y ∂y∂f,  ∂ f ∂ z \\partial f\\over \\partial z ∂z∂f
    2.  ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 3]
    3.  用链式规则可以得到如下的公式![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 4]
    4.  同理对于 ∂ f ∂ x \\partial f\\over \\partial x ∂x∂f，我们是很容易能够得出对于当前节点位置的偏导是什么的![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 5]

#### 例子2 ####

公式为  
 f ( x , w ) = 1 1 + e − ( w 0 x 0 + w 1 x 1 + w 2 ) f(x,w)=\{1\\over 1+e^\{-(w\_0x\_0+w\_1x\_1+w\_2)\}\} f(x,w)=1\+e−(w0x0\+w1x1\+w2)1

向前传播过程  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 6]  
反向传播的第一部分

− 0.53 = − 1 1.3 7 2 -0.53 = -\{1\\over 1.37^2\} −0.53=−1.3721  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 7]  
反向传播的第三步

− 0.2 = e − 1.0 ∗ − 0.53 -0.2 = e^\{-1.0\} \* -0.53 −0.2=e−1.0∗−0.53  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 8]

这个例子就非常具体地显示了怎么计算本地梯度以及连式法则的运用。

#### 模块API设计 ####

对于每一个神经层，在实现这个神经层的时候，都会知道输入输出的矩阵长宽，以及激活函数的使用。所以在pytorch，tensorflow等实现的时候，都已经实现好了这个激活函数和输入输出矩阵的节点向前传播，向后传播的函数，直接将这个节点拿去使用即可。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 9]

### 向量化 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 10]  
第一例为单输入单输出，第二列为输入向量，输出单数，第三列为输入输出向量

#### 例子1 ####

对于一个4输入4输出的函数，我们可以得出它的Jacobian矩阵如下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 11]  
我们可以发现，Jacobian矩阵大部分都是0；这是一个非常常见的情况，Jacobian矩阵是非常非常稀疏的，所以绝对不要显式地表示Jacobian矩阵，而是应该用隐式的方式去压缩。

#### 例子2 ####

矩阵输入，矩阵输出，感兴趣的可以看看幻灯片里面的具体讲解  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 12]

[Link 1]: https://pan.baidu.com/s/1sXKQ0AnT-eRa6lEawAKKXA
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/0d97161ba5554a4d84c5f81a30782c47.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/e166c1de99b74b6899b0aa9c510f000a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/263fab0023464a32b3604614a7530d38.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221124/128ae678ff374fd8874829dc80707787.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221124/2e27b05858ef421f9ae83d1ca40975b9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221124/70a4c7f8b4cb4832963a15d130b08a6f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221124/2af657943a04453b8640a8126780b3de.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221124/16651a40c47a44a5b9d040c4daaef6b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221124/ce8b0e2d0664432c9dfc0ce1f72d3914.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221124/58d2357a9c034d249e3f93a052340bc9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221124/04204b79fa1a417191112db167579bc5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221124/10bbeb48f83541fea781390c9a2b28f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMwMDc5MDA_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20221124/653ad1aa19e9484391b10c4cffddca6e.png