java lstm_LSTM - 长短期记忆网络

青旅半醒 2022-11-09 01:25 297阅读 0赞

循环神经网络(RNN)

人们不是每一秒都从头开始思考，就像你阅读本文时，不会从头去重新学习一个文字，人类的思维是有持续性的。传统的卷积神经网络没有记忆，不能解决这一个问题，循环神经网络(Recurrent Neural Networks)可以解决这一个问题，在循环神经网络中，通过循环可以解决没有记忆的问题，如下图：

![89f633fe1bfc5eaaf1a11d0eace2e41e.png][]

看到这里，你可能还是不理解为什循环神经网络就可以有记忆。我们把这个图展开：

![621d630176900ffee3f1de1d2d466d82.png][]

可以看出，我们输入 $X\_0$ 后，首先警告训练，得到输出 $h\_0$，同时会把这个输出传递给下一次训练 $X\_1$，普通的神经网络是不会这样做的，这时对 $X\_1$ 进行训练时，输入就包括了 $X\_1$ 本身和 训练 $X\_0$ 的输出，前面的训练对后面有印象，同样的道理，之后的每一次训练都收到了前面的输出的影响(对 $X\_1$ 训练的输出传递给训练 $X\_2$ 的过程，$X\_0$ 对 $X\_2$ 的影响是间接的)。

遇到的问题

循环神经网络很好用，但是还有一些问题，主要体现在没办法进行长期记忆。我们可以想象(也有论文证明)，前期的某一次输入，在较长的链路上传递时，对后面的影响越来越小，相当于网络有一定的记忆能力，但是记忆力只有 7 秒，很快就忘记了，如下图 $X\_0$ 和 $X\_1$ 对 $h\_\{t+1\}$ 的影响就比较小了(理论上通过调整参数避免这个问题，但是寻找这个参数太难了，实践中不好应用，因此可以近似认为不可行)，LSTM 的提出就是为了解决这个问题的。

![62158dfafc6e186354fc8b1609d90771.png][]

LSTM

LSTM(Long Short Term Memory)本质还是一种 RNN，只不过其中的那个循环，上图中的那个 A被重新设计了，目的就是为了解决记忆时间不够长的问题，其他神经网络努力调整参数为的是使记忆力更好一点，结果 LSTM 天生过目不忘，简直降维打击！

普通的 RNN 中的 A 如下图，前一次的输入和本次的输入，进行一次运算，图中用的是 tanh：

![7c880ed848174e64228c7e36f4532df5.png][]

相比较起来，LSTM 中的 A 就显得复杂了好多，不是上图单一的神经网络层，而是有四层，如下图，并且似乎这么看还有点看不懂，这就是本文需要重点分析的内容，仔细认真读下去，定会有收获：

![79e21f0921da4f5c5c5f104ed384e2f8.png][]

定义一些图形的含义，黄色方框是简单的神经网络层；粉色的代表逐点操作，如加法乘法；还有合并和分开(拷贝)操作：

![3b7eca8825aa7c46c1f5926ecf3f853c.png][]

核心思想

首先看下图高亮部分，前一次的输出，可以几乎没有阻碍的一直沿着这条高速公路流动，多么简单朴素的思想，既然希望前面的训练不被遗忘，那就一直传递下去：

![2a63093b2b96b939de5c11b837bc26f8.png][]

当然，为了让这种传递更加有意义，需要加入一些门的控制，这种门具有选择性，可以完全通过，可以完全不通过，可以部分通过，S 函数(Sigmoid)可以达到这样的目的，下面这样就是一个简单的门：

![06f9882388965aab0adb7839b8112771.png][]

总结一下，我们构造 LSTM 网络，这个网络有能力让前面的数据传递到最后，网络具有长期记忆的能力，同时也有门的控制，及时舍弃那些无用的记忆。

详细分析

有了这样的核心思想，再看这个网络就简单了好多，从左到右第一层是“选择性忘记”。我们根据前一次的输出和本次的输入，通过 Sigmoid 判断出前一次哪些记忆需要保留和忘记：

![4b86df87284c6633c37cdc4ffdfbcb26.png][]

第二部分又分为了两个部分，一个部分是“输入门层”，用 Sigmoid 决定哪些信息需要进行更新，另一个部分是创建候选值向量，即本次输入和上次输出进行初步计算后的中间状态：

![f03438c9bda86417866d764eae2ba134.png][]

经过前面的计算，我们可以更新单元格的状态了。第一步，前一个的单元格哪些数据需要传递，哪些数据需要忘记；第二步，本次的哪些数据需要更新，乘以本次计算的中间状态可以得到本次的更新数据；再把前两步的数据相加，就是新的单元格状态，可以继续向后传递。

![604a9c2d417e4a26029a975bbc0d6f36.png][]

这一步需要决定我们的输出：第一步，我们用 Sigmoid 来判断我们需要输出的部分；第二步，把上面计算得到的单元格状态通过 tanh 计算将数据整理到 -1 到 1 的区间内；第三步，把第一步和第二步的数据相乘，就得到了最后的输出：

![6e228d98728ddb1a1012cc96344de095.png][]

总结一下我们刚刚做了什么：我们首先通过本次的输入和上次的输出，判断出上次单元格状态有哪些数据需要保留或舍弃，再根据本次的输入进行网络训练，进一步得到本次训练的单元格状态和输出，并将单元格状态和本次的输出继续往后传递。

这里有一个疑问，为什么需要舍弃？举个例子，翻译一篇文章，一篇文章前一段介绍某一个人的详细信息和背景，下一段介绍今天发生的某个故事，两者的关系是弱耦合的，需要及时舍弃前面对人背景信息的记忆，才会更好的翻译下面的故事。

其他一些基于 LSTM 修改版的网络，本质是一样的，只不过把某些地方打通了，有论文验证过，一般情况下对训练的结果影响很小，这里不展开介绍，大同小异，修内功而不是那些奇奇怪怪的招式：

![9cf1c77f8fdbb7f336933feebaa5629b.png][]

![44337244a478440394e4b009cf468f99.png][]

![f778f3cefdef643ea9e4ca3fba9c3626.png][]

总结

本文介绍了长短期记忆网络，在大多数情况下，若在某个领域用 RNN 取得了比较好的效果，其很可能就是使用的 LSTM。这是一篇好文，本文图片来自Understanding-LSTMs，值得一读。本文首发自: RAIS

[89f633fe1bfc5eaaf1a11d0eace2e41e.png]: /images/20221023/4150a87dfa82434fabb8cf860b24d4e4.png
[621d630176900ffee3f1de1d2d466d82.png]: /images/20221023/5ce822d9a1e2437ab3ea68ae1bd8e914.png
[62158dfafc6e186354fc8b1609d90771.png]: /images/20221023/7d267b4d481d46e2abe0fec14b06b3d4.png
[7c880ed848174e64228c7e36f4532df5.png]: /images/20221023/ab9c83b5b4c5407bacfd3b345a8914fc.png
[79e21f0921da4f5c5c5f104ed384e2f8.png]: /images/20221023/4bc350e2617f452a8e2292bd422ee61c.png
[3b7eca8825aa7c46c1f5926ecf3f853c.png]: /images/20221023/d0b8c81c0d784f56be7febae65e7b2c1.png
[2a63093b2b96b939de5c11b837bc26f8.png]: /images/20221023/24ff21b143884d46a936329eefc470a4.png
[06f9882388965aab0adb7839b8112771.png]: /images/20221023/1effc9c4cf6b4a669a2d69ab271f8f8e.png
[4b86df87284c6633c37cdc4ffdfbcb26.png]: /images/20221023/24e823034c4f4ed3bf7bc09ec903a792.png
[f03438c9bda86417866d764eae2ba134.png]: /images/20221023/6733180a7e5b494eb1189059a55a3274.png
[604a9c2d417e4a26029a975bbc0d6f36.png]: /images/20221023/bb5372373c5948858f0a32978a0b806d.png
[6e228d98728ddb1a1012cc96344de095.png]: /images/20221023/fe2ce19d1b4349e1a5e1e0e2c697c2f3.png
[9cf1c77f8fdbb7f336933feebaa5629b.png]: /images/20221023/f0b02a9345b744f49262078ce917722c.png
[44337244a478440394e4b009cf468f99.png]: /images/20221023/0dda179c5ec84321862051b0ba2009bf.png
[f778f3cefdef643ea9e4ca3fba9c3626.png]: /images/20221023/53bf840abfd14ed8a6e6e1d418ea3c02.png