NLP-生成模型-2017-Transformer（四）：单个输入-输出样本的并行化计算【编码：训练预测都基于注意力机制来并行化】【解码：训练时基于掩码注意力机制、teach-forcing来并行化】

迈不过友情╰ 2023-10-05 22:11 15阅读 0赞

我们先看一个典型的基于RNN的Encoder-Decoder结构

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_17_color_FFFFFF_t_70_g_se_x_16]  
输入是：“机器学习“，输出是“machine learning”。模型的大概工作时序是：Encoder部分，输入序列逐个送进RNN，计算出最后时刻的隐藏状态c，作为上下文信息传给Decoder。Decoder部分，将c和t-1时刻的输出作为t时刻的输入，逐步计算预测得到t时刻的输出。这个结构中，Encoder和Decoder部分都是无法并行化的，这是由RNN结构本身决定的（t时刻计算依赖t-1时刻的输出）。值得注意的一点是，这里我们讨论的并行化，不是指多个“输入-输出”样本批量处理，而是指对于单个的“输入-输出”样本，模型中Encoder和Decoder都需要历经t次迭代。

Transformer并行化  
《Attention Is All You Need》\[3\] 中提出：“The Transformer allows for significantly more parallelization“ ，我们这里对Transformer中的Encoder和Decoder分别如何支持并行化训练做一点浅析。

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_19_color_FFFFFF_t_70_g_se_x_16]  
Encoder支持并行化

RNN之所以不支持并行化是因为它天生是个时序结构，t时刻依赖t-1时刻的输出，而t-1时刻又依赖t-2时刻，如此循环往前，我们可以说t时刻依赖了前t时刻所有的信息。RNN的实质目的是学习时序数据中的局部依赖关系，实际上深度学习很多模型的目的都是为了学习样本之间的局部关系，如CNN也是为了学习空间数据中局部依赖关系。为了完成对长距离样本之间依赖关系的学习，CNN采用多次卷积、池化等操作，这样需要加大网络的深度，才能更多的学习到更大范围的样本局部依赖关系。RNN虽然理论上可以建立长距离依赖关系，但由于存在梯度消失、网络容量等问题，实际上效果也要打折扣。

理解Encoder部分能支持并行化训练的关键就在于理解自注意力机制：

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16]

待续

--------------------

参考资料：  
[Seq2Seq模型概述][Seq2Seq]  
[浅析Transformer训练时并行问题][Transformer]  
[The Illustrated Transformer][]  
[Teacher Forcing机制及Beam search详解][Teacher Forcing_Beam search]  
[Transformer并行化训练笔记][Transformer 1]  
[1分钟|聊聊Transformer的并行化][1_Transformer]

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_17_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/4d7c246f3fd946c7bc3f54beeabbd619.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_17,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_19_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/f281f1faae004b328f3524459a70c1ae.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_19,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/a89fca8f73224da284d3e91180dd99bf.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16
[Seq2Seq]: https://www.jianshu.com/p/b2b95f945a98
[Transformer]: https://zhuanlan.zhihu.com/p/368592551
[The Illustrated Transformer]: http://jalammar.github.io/illustrated-transformer/
[Teacher Forcing_Beam search]: https://blog.csdn.net/lyj223061/article/details/109472586
[Transformer 1]: https://blog.csdn.net/a478555/article/details/108721071
[1_Transformer]: https://zhuanlan.zhihu.com/p/157884112