Python实现深度理解LSTM记忆神经网络相关工作

喜欢ヅ旅行 2024-02-21 10:53 75阅读 0赞

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88460515  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88460515

## 人类针对每个问题的思考，一般不会是完全的从头开始思考。正如当你阅读这篇译文的时候，你会根据已经阅读过的内容来对后面的内容进行理解，你不会把之前的东西都丢掉从头进行思考，你对内容的理解是贯穿的。 ##

而传统的 NN 并没有办法做到利用前面的场景去干预后面的预测 ～

![6732744f3ccd2410dc1078447ac834df.png][]

这里的网络结构就是每一个都传递一个消息给后继者，这里就是传递信息@循环神经网络。

### LSTM 提出的背景（4 层，三个门） ###

1.**长依赖存在的问题**  
RNN 显著的魅力将以前的信息连接到当前任务的这种思路，如果他能够做到这一点，将变得非常有用。但是他足够可以吗？

\-在相关信息和需要该信息的距离较近的时候，RNN 能够学会去利用历史信息。

\-可是事实上也存在很多需要更多上下文的情况。不幸的事是随着距离的增加，RNN 无法有效的利用历史信息。

在理论上，RNN 绝对有能力处理这样的长依赖问题，人们可以仔细挑选参数来解决这种形式的问题，但是事实上在实践中，RNN 似乎无法学习到这些特征。Hochreiter 和 Bengio 就深入研究过这个问题，他们发现一些根本性的原因，能解释 RNN 为什么不 work～

但是 LSTM 没有这种问题。

### RNN Networks（对 RNN 内部结构进行解析）理解为三层网络 ###

其实这里本质上就是一个 hidden layer 而已。（输出的时候也经过一个变换哦）所以算是输入一次变换，hidden 再一次变换到输出。  
![3dc98f210bce483cff6164fdf173e8da.png][]

这里就是如果我们把上面的有 W 的那个带箭头的圈去掉，它就变成了最普通的全连接神经网络。x 是一个向量，它表示输入层的 value，s 就是 hidden 的 value。

![817722ed7f3c793266ce2d8823dd732e.png][]

这个就是抽象图的具体图，每次都是当前的 hidden state 由当前的输入和上一步的输出而共同决定 ～

![Image 1][]  
这个就是按照时间线进行展开 ～ 当然这里是包含 bias 的 ～

内部的激活函数就是 tanh～

### LSTM Networks（虽然我很好奇为什么 RNN 无法学习到这种非常需要历史的信息的问题） ###

这里就是使得 RNN 可以学习长的依赖关系。并被许多人进行了改进和普及。

\-*所有的循环神经网络都具有神经网络的重复模块链的形式*

1.标准的 RNN 结构非常简单。  
![570b1b03670d78792b7dd063d258d175.png][]

2.然后就是 4 层的 LSTM 啦（stack）  
![ae61c14f0bb9ea6a9400a14020efff1c.png][]

熟悉一下我们将要使用的符号 ～  
![ab62f9be185507eb3409008367e06d8f.png][]

### LSTM 背后的核心理论 ###

关键: cell state,表示细胞状态的这条线水平的穿过图的顶部。  
![c45e5449e165b1b78e30d9be91f4628a.png][]

这里的核心就是一个细胞状态在整个链条上都是运行的，

\*\*LSTM 本质就是具有删除或者添加信息到细胞状态的能力，这个能力是由被称为门 Gate 的结构所赋予的。  
Gate 就是一种可选地让信息通过的方式，它是由一个 sigmoid 神经层和一个点乘法运算组成 ～  
![160883ea9e4f572daefa41388ae0d907.png][]

*LSTM 具有三个门，用于保护和控制细胞的状态*

### 一步步拆解 LSTM ###

#### 1.遗忘细胞状态（这里的 gate 就是自适应学习啦） ####

forget gate 就是 sigmoid，由上一个输出（h）和当前输入（x），来决定 forget 多少上一步的信息。

这个的思想就是我们要是用以前的语料来预测下一个单词。在这样的问题中，细胞状态可能包括当前主题的性别，从而决定使用正确的代词。当我们看到一个新主题的时候，我们要忘记旧主题的性别。

#### 2.需要存储细胞 ####

输入门的 sigmoid 会直接决定我们将更新哪些值，然后下一个 tanh 层创建候选向量 c，该向量会被加到细胞的状态中 ～

![fe2571d1f901a1374545c3eae08a30b6.png][]

那么这个的本质就是一个 self-gating～

#### 3.写进细胞状态（遗忘门 + 输入门的共同作用） ####

![52882d1092ac7b0f66ca86bae8659d83.png][]

#### 4.决定我们到底需要输出什么（过滤版本的细胞状态）output gate ####

就是输入和上一个输出来共同决定细胞内部输出多少  
![9f24476d116b8a20909be9e199bbf501.png][]

## 综上可以看出来 LSTM 的记忆长度和记忆能力都是有限的 ##

### 一些 LSTM 的变种@peephole connections ###

2000 的 peephole connections（就是不管所有的 gate 层都会允许细胞状态去参与）  
![a4b7fc8b908030c7d69424d0c611bc0a.png][]

但是事实上许多论文实现不是针对所有都增加这个窥探，而是有针对性的增加。

### 变种 2@耦合 forget 和 input 的 gate ###

我们一起决定到底要忘记什么，添加什么（决定必须是 combine 完成的）。  
只有当我们忘记一些历史信息的时候，我们才在状态中添加新的信息。  
![f4c3e47c0db13c77b03d6fd046a056d6.png][]

### 变种 3@GRU 门控循环单元 ###

![1b1997dff01aaa7097504ae838a908c6.png][]

当然这里还存在很多其他的工作

### 为什么 LSTM 需要输出门？ ###

这里的核心思想就是控制着有多少记忆可以用于下一层的更新中。

这里就是“话不能说得太满，满了就难以圆通；调也不能定得太高，高了就难以合声 ～”这里的输出也得“悠着点”，不能太“任性”的输出，因此还要使用激活函数 tanh 把记忆值变换一下 ～ 将其变换为-1-+1 之间的数。

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88460515  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88460515

[Link 1]: https://download.csdn.net/download/sheziqiong/88460515
[6732744f3ccd2410dc1078447ac834df.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/289cf82d46a2471a92019c830a0eb16e.png
[3dc98f210bce483cff6164fdf173e8da.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/8def3c9d4e564387b8d320cd4b91901a.png
[817722ed7f3c793266ce2d8823dd732e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/503a0c385c6644f98a73560d2cd7b329.png
[Image 1]: 
[570b1b03670d78792b7dd063d258d175.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/ad6707aa5c78438cad3a99b11202aa72.png
[ae61c14f0bb9ea6a9400a14020efff1c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/705fa67be6ca4f55ba803fff75d93703.png
[ab62f9be185507eb3409008367e06d8f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/d99111e60aca4c16976bc888e3d0520d.png
[c45e5449e165b1b78e30d9be91f4628a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/f8338259620249f68ff802ce359a3b12.png
[160883ea9e4f572daefa41388ae0d907.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/2e5fb548fbe34502871b771017fa05ce.png
[fe2571d1f901a1374545c3eae08a30b6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/00adf603648d49d29814b9bf84dc1aab.png
[52882d1092ac7b0f66ca86bae8659d83.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/e89d763828e943e39ee267d5651e49a7.png
[9f24476d116b8a20909be9e199bbf501.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/a950dc6adc1a482ea7f3ef0599ca0b3d.png
[a4b7fc8b908030c7d69424d0c611bc0a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/35006e631e564206815d59c84d6a4d0f.png
[f4c3e47c0db13c77b03d6fd046a056d6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/b975d0fda4194d938d2c86165e5d6987.png
[1b1997dff01aaa7097504ae838a908c6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/21/6bb2c54684c54b4689cb72cf6ffcb2a2.png