DL入门(4)：长短期记忆网络（LSTM）

逃离我推掉我的手 2023-01-07 12:26 280阅读 0赞

写在前面：看预测论文综述时，面临这样一个问题：很多DL的方法只是会简单运用，却不是特别了解其详细原理，故针对CNN、RNN、LSTM、AutoEncoder、RBM、DBN以及DBM分别做一些简单总结，以达到了解的目的，此篇为LSTM。

### 目录 ###

*  1.RNN的缺陷
 *  2.LSTM
 *   *  2.1 LSTM的结构
     *   *  2.1.1遗忘门f
         *  2.1.2 输入门i
         *  2.1.3 内部记忆单元c
         *  2.1.4 输出门o
     *  2.2 一些总结
 *  3.门控循环单元网络GRU
 *   *  3.1 基本结构
     *  3.2 工作原理

# 1.RNN的缺陷 #

RNN在构建实际应用程序如语言翻译、文本分类和更多的序列化问题方面非常常见，but在处理**大型序列**时存在梯度消失和梯度爆炸等问题。  
   RNN结构共享一组U，W，b，这样梯度在反向传播过程中是不断连乘的，这样会使得梯度越来越大或者越来越小，带来梯度爆炸or梯度消失。所以当神经元个数非常多，也就是我们在处理很长一段序列的时候，往往得不到预期的结果。  
  **梯度下降与梯度爆炸**  
  梯度的表达式为：  
![在这里插入图片描述][20210117213452674.png_pic_center]  
![在这里插入图片描述][20210117213457911.png_pic_center]  
可以看到，当r>1，t-k→∞时， γ t − k \\gamma^\{t-k\} γt−k→∞，造成梯度爆炸问题；相反，γ<1，t-k→∞时， γ t − k \\gamma^\{t-k\} γt−k→0，会出现梯度消失问题。  
  而循环神经网络中经常使用的激活函数为Sigmoid函数和Tanh函数，其导数值都小于1，并且权重矩阵U的值也不会太大，因此如果时间间隔t-k过大，就会导致误差 δ t , k δ\_\{t,k\} δt,k趋于0，出现梯度消失问题。在这种情况下，当目前的预测又需要用到比较久远的信息时，就会出现**长期依赖**问题。

# 2.LSTM #

## 2.1 LSTM的结构 ##

既然是RNN的变种，那么二者之间肯定还是有很大关联的。实际上，LSTM的神经元还是基于输入x和上一级的隐藏层输出h来计算，只不过相比RNN，LSTM的内部结构更为复杂，RNN的计算表达式为：  
![在这里插入图片描述][2021011721513661.png_pic_center]  
  LSTM相比于RNN，引入了输入门i、遗忘门f、输出门o以及内部记忆单元c。其结构如下所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center]

### 2.1.1遗忘门f ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 1]  
  如上图所示，遗忘门f用于控制输入x和上一层隐藏层输出h被遗忘的程度大小。 W f W\_\{f\} Wf是遗忘门的权重， b f b\_\{f\} bf是遗忘门的偏置，需要指出的是，所有遗忘门共用一组W和b。  
  实际上，上述公式也可以写成：  
 f t = σ ( W f x t + U f h t − 1 + b f ) f\_\{t\}=\\sigma(W\_\{f\}x\_\{t\}+U\_\{f\}h\_\{t-1\}+b\_\{f\}) ft=σ(Wfxt\+Ufht−1\+bf)  
这样便能与前面的RNN对应起来， U f 、 W f 、 b f U\_\{f\}、W\_\{f\}、b\_\{f\} Uf、Wf、bf是所有遗忘门的一组权重参数。

### 2.1.2 输入门i ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 2]  
  如上图所示，输入门i用于控制输入x和当前计算的状态更新到记忆单元的程度大小。相应地，其表达式可以改为：  
 i t = σ ( W i x t + U i h t − 1 + b i ) C ~ t = t a n h ( W C x t + U C h t − 1 + b C ) i\_\{t\}=\\sigma(W\_\{i\}x\_\{t\}+U\_\{i\}h\_\{t-1\}+b\_\{i\})\\\\ \\tilde\{C\}\_\{t\}=tanh(W\_\{C\}x\_\{t\}+U\_\{C\}h\_\{t-1\}+b\_\{C\}) it=σ(Wixt\+Uiht−1\+bi)C~t=tanh(WCxt\+UCht−1\+bC)

### 2.1.3 内部记忆单元c ###

观察上图可以发现， i t i\_\{t\} it和 C ~ t \\tilde\{C\}\_\{t\} C~t汇聚到了一起，经过一个加号变成 C t C\_\{t\} Ct，如下所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 3]  
内部记忆单元表达式如下：  
 C t = f t ∗ C t − 1 + i t ∗ C ~ t C\_\{t\}=f\_\{t\}\*C\_\{t-1\}+i\_\{t\}\*\\tilde\{C\}\_\{t\} Ct=ft∗Ct−1\+it∗C~t  
其中 f t f\_\{t\} ft为遗忘门输出， C ~ t \\tilde\{C\}\_\{t\} C~t是当前输入的单元状态， C t C\_\{t\} Ct是当前时刻单元状态。

### 2.1.4 输出门o ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 4]  
同样可改写为：  
 o t = σ ( W o x t + U o h t − 1 + b o ) h t = o t ∗ t a n h ( C t ) o\_\{t\}=\\sigma(W\_\{o\}x\_\{t\}+U\_\{o\}h\_\{t-1\}+b\_\{o\})\\\\ h\_\{t\}=o\_\{t\}\*tanh(C\_\{t\}) ot=σ(Woxt\+Uoht−1\+bo)ht=ot∗tanh(Ct)  
  可以看到，**隐藏层输出是由输出门和内部记忆单元决定的。**  
  以上所有表达式中的 σ \\sigma σ通常是指sigmoid函数，主要是起到门控作用，因为其输出为0~1，当输出接近0或者1时，符合物理意义上的关或开。

## 2.2 一些总结 ##

循环神经网络中的隐状态h存储了历史信息，可以看做一种记忆。在简单的RNN模型中，h在每一个时刻都是改变的，都会被重写，因此可看作一种**短期记忆**。而在LSTM中，记忆单元c可以在某个时刻捕捉到某个关键信息，并有能力将此关键信息保存一定的时间间隔。记忆单元c中保存信息的生命周期要长于短期记忆，但又远远短于长期记忆，因此将LSTM称为**长短期记忆**(Long Short-Term Memory)

在深度网络参数学习时，参数初始化的值一般都比较小。但是在训练LSTM网络时，**过小的值会使得遗忘门的值比较小，这意味着前一时刻的信息大部分都丢失了，这样网络很难捕捉到长距离的依赖信息。** 并且相邻时间间隔的梯度会非常小，这会导致梯度弥散问题。因此遗忘门的参数初始值一般都设得比较大，其偏置向量 b f b\_\{f\} bf设为1或2。

# 3.门控循环单元网络GRU #

## 3.1 基本结构 ##

门控循环单元（Gated Recurrent Unit， GRU）网络是一种比LSTM网络更加简单的循环神经网络。其结构如下所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 5]  
GRU相比于LSTM有以下两点不同：

1.  将输入门i、遗忘门f、输出门o变为两个门：更新门(Update Gate)和重置门(Reset Gate)。
2.  直接在当前状态 h t h\_\{t\} ht和历史状态 h t − 1 h\_\{t-1\} ht−1之间引入线性依赖关系。

具体来讲，GRU将遗忘门和输入门合并成更新门，将内部记忆单元和隐藏层输出合并成重置门，进而让整个结构变得更加简单，性能可能会有所增强。

## 3.2 工作原理 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 6]  
重置门 r t r\_\{t\} rt与候选状态 h ~ t \\tilde\{h\}\_\{t\} h~t的表达式为：  
 r t = σ ( W r x t + U r h t − 1 + b r ) h ~ t = t a n h ( W h x t + U h ( r t ⊙ h t − 1 ) + b h ) r\_\{t\}=\\sigma(W\_\{r\}x\_\{t\}+U\_\{r\}h\_\{t-1\}+b\_\{r\})\\\\ \\tilde\{h\}\_\{t\}=tanh(W\_\{h\}x\_\{t\}+U\_\{h\}(r\_\{t\}\\odot h\_\{t-1\})+b\_\{h\}) rt=σ(Wrxt\+Urht−1\+br)h~t=tanh(Whxt\+Uh(rt⊙ht−1)\+bh)  
重置门用于控制候选状态是否依赖上一时刻状态，通过重置门 r t r\_\{t\} rt表达式我们可以发现：

1.  当 r t = 0 r\_\{t\}=0 rt=0时，候选状态只与当前输入 x t x\_\{t\} xt有关，和历史状态无关。
2.  当 r t = 1 r\_\{t\}=1 rt=1时，候选状态和当前输入 x t x\_\{t\} xt以及历史状态 h t − 1 h\_\{t-1\} ht−1都有关，这就与一般的RNN一致了。

更新门 z t z\_\{t\} zt与当前状态 h t h\_\{t\} ht的表达式为：  
 z t = σ ( W z x t + U z h t − 1 + b z ) h t = z t ⊙ h t − 1 + ( 1 − z t ) ⊙ h ~ t z\_\{t\}=\\sigma(W\_\{z\}x\_\{t\}+U\_\{z\}h\_\{t-1\}+b\_\{z\})\\\\ h\_\{t\}=z\_\{t\}\\odot h\_\{t-1\}+(1-z\_\{t\})\\odot \\tilde\{h\}\_\{t\} zt=σ(Wzxt\+Uzht−1\+bz)ht=zt⊙ht−1\+(1−zt)⊙h~t

通过 h t h\_\{t\} ht的表达式我们可以发现：

1.  当 z t = 0 z\_\{t\}=0 zt=0时，当前状态就是候选状态，与前一状态 h t − 1 h\_\{t-1\} ht−1之间为非线性关系。
2.  当 z t = 1 z\_\{t\}=1 zt=1时，当前状态就是前一状态，二者之间为线性关系。
3.  因此，更新门用于控制前一隐藏状态有多少信息转移到当前隐藏状态，类似于LSTM中的内部记忆单元。

因此，综合二者并观察状态更新表达式我们发现：

1.  当 z t = 0 ， r t = 1 z\_\{t\}=0，r\_\{t\}=1 zt=0，rt=1时，GRU退化为简单RNN。
2.  当 z t = 0 ， r t = 0 z\_\{t\}=0，r\_\{t\}=0 zt=0，rt=0时， 当前状态 h t h\_\{t\} ht只和当前输入 x t x\_\{t\} xt相关， 和历史状态 h t − 1 h\_\{t-1\} ht−1无关，即隐藏状态被迫忽略前一时刻隐藏状态。
3.  当 z t = 1 z\_\{t\}=1 zt=1时，当前状态就是前一状态。

[20210117213452674.png_pic_center]: /images/20221119/f90ef326ecc742b28a021070032c70b9.png
[20210117213457911.png_pic_center]: https://img-blog.csdnimg.cn/20210117213457911.png#pic_center
[2021011721513661.png_pic_center]: https://img-blog.csdnimg.cn/2021011721513661.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20210117223053426.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20210117223411808.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/2021011722434763.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 3]: https://img-blog.csdnimg.cn/2021011809303541.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 4]: https://img-blog.csdnimg.cn/20210118093518657.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 5]: https://img-blog.csdnimg.cn/20210118095355156.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ_size_16_color_FFFFFF_t_70_pic_center 6]: https://img-blog.csdnimg.cn/2021011810042982.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0N5cmlsX0tJ,size_16,color_FFFFFF,t_70#pic_center