读文章笔记（五）：搞懂Transformer结构，看这篇PyTorch实现就够了

落日映苍穹つ 2022-10-27 12:22 196阅读 0赞

### 读文章笔记（五）：搞懂Transformer结构，看这篇PyTorch实现就够了 ###

*  "Attention is All You Need"
 *   *  背景
     *  模型结构
     *  Encoder和Decoder
     *   *  Encoder
     *  Decoder
     *  Attention
     *  Attention在模型中的应用
     *  Position-wise前馈网络
     *  Embedding和Softmax
     *  位置编码
     *  完整模型

[公众号：机器学习研究组订阅][Link 1]  
https://mp.weixin.qq.com/s/3NrRNCh7gs\_aaRWEuc-gBA

# “Attention is All You Need” #

## 背景 ##

Transformer是第一个完全依靠Self-attention而不使用序列对齐的RNN或卷积的方式来计算输入输出表示的转换模型。

## 模型结构 ##

神经序列转换模型都有Encoder-Decoder结构。  
Encoder将输入序列映射到一个连续表示序列 。对于编码得到的连续表示序列，Decoder每次解码生成一个符号，直到生成完整的输出序列。对于每一步解码，模型都是自回归的，即在生成下一个符号时将先前生成的符号作为附加输入。

## Encoder和Decoder ##

### Encoder ###

*  Encoder由N=6个相同的层组成。
 *  每两个子层之间都使用了残差连接(Residual Connection) 、Dropout和归一化。
 *  每层都有两个子层组成。第一个子层实现了“多头”的 Self-attention，第二个子层则是一个简单的Position-wise的全连接前馈网络。

## Decoder ##

*  Decoder也是由N=6个相同层组成。
 *  除了每个编码器层中的两个子层之外，解码器还插入了第三种子层对编码器栈的输出实行“多头”的Attention。

## Attention ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70]

## Attention在模型中的应用 ##

Transformer中以三种不同的方式使用了“多头”Attention：

1.  在"Encoder-Decoder Attention"层，Query来自先前的解码器层，并且Key和Value来自Encoder的输出。Decoder中的每个位置Attend输入序列中的所有位置，这与Seq2Seq模型中的经典的Encoder-Decoder Attention机制\[15\]一致。
2.  Encoder中的Self-attention层。在Self-attention层中，所有的Key、Value和Query都来同一个地方，这里都是来自Encoder中前一层的输出。Encoder中当前层的每个位置都能Attend到前一层的所有位置。
3.  类似的，解码器中的Self-attention层允许解码器中的每个位置Attend当前解码位置和它前面的所有位置。这里需要屏蔽解码器中向左的信息流以保持自回归属性。具体的实现方式是在缩放后的点积Attention中，屏蔽（设为负无穷）Softmax的输入中所有对应着非法连接的Value。

## Position-wise前馈网络 ##

除了Attention子层之外，Encoder和Decoder中的每个层都包含一个全连接前馈网络，分别地应用于每个位置。其中包括两个线性变换，然后使用ReLU作为激活函数。

## Embedding和Softmax ##

与其他序列转换模型类似，我们使用预学习的Embedding将输入Token序列和输出Token序列转化为dmodel维向量。  
我们还使用常用的预训练的线性变换和Softmax函数将解码器输出转换为预测下一个Token的概率。

## 位置编码 ##

由于我们的模型不包含递归和卷积结构，为了使模型能够有效利用序列的顺序特征，我们需要加入序列中各个Token间相对位置或Token在序列中绝对位置的信息。在这里，我们将位置编码添加到编码器和解码器栈底部的输入Embedding。由于位置编码与Embedding具有相同的维度dmodel，因此两者可以直接相加。其实这里还有许多位置编码可供选择，其中包括可更新的和固定不变的。

## 完整模型 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 1]

[Link 1]: https://mp.weixin.qq.com/s/3NrRNCh7gs_aaRWEuc-gBA
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70]: /images/20221024/f4795d4574154b6baa946cab2e6efcd9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NDg2NTAx_size_16_color_FFFFFF_t_70 1]: /images/20221024/1c2e3072bd05463991c8d1b365b574bc.png