Transformer详解

拼搏现实的明天。 2022-12-07 15:14 181阅读 0赞

转载自：[https://wmathor.com/index.php/archives/1438/][https_wmathor.com_index.php_archives_1438]

Transformer 是谷歌大脑在 2017 年底发表的论文 [attention is all you need][] 中所提出的 seq2seq 模型。现在已经取得了大范围的应用和扩展，而 BERT 就是从 Transformer 中衍生出来的预训练语言模型

这篇文章分为以下几个部分

Transformer 直观认识

1.  Positional Encoding
2.  Self Attention Mechanism
3.  残差连接和 Layer Normalization
4.  Transformer Encoder 整体结构
5.  Transformer Decoder 整体结构
6.  总结
7.  参考文章

### 1. Transformer 直观认识 ###

Transformer 和 LSTM 的最大区别，就是 LSTM 的训练是迭代的、串行的，必须要等当前字处理完，才可以处理下一个字。而 Transformer 的训练时并行的，即所有**字**是同时训练的，这样就大大增加了计算效率。Transformer 使用了位置嵌入 (Positional Encoding) 来理解语言的顺序，使用自注意力机制（Self Attention Mechanism）和全连接层进行计算，这些后面会讲到

Transformer 模型主要分为两大部分，分别是 **Encoder** 和 **Decoder**。**Encoder** 负责把输入（语言序列）隐射成**隐藏层**（下图中第 2 步用九宫格代表的部分），然后解码器再把隐藏层映射为自然语言序列。例如下图机器翻译的例子

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzOTMyOTI1_size_16_color_FFFFFF_t_70][]

本篇文章大部分内容在于解释 **Encoder** 部分，即把**自然语言序列映射为隐藏层的数学表达的过程**。理解了 Encoder 的结构，再理解 Decoder 就很简单了

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzOTMyOTI1_size_16_color_FFFFFF_t_70 1][]

上图为 Transformer Encoder Block 结构图，注意：下面的内容标题编号分别对应着图中 1,2,3,4 个方框的序号

### 1. Positional Encoding ###

由于 Transformer 模型**没有**循环神经网络的迭代操作，所以我们必须提供每个字的位置信息给 Transformer，这样它才能识别出语言中的顺序关系

现在定义一个**位置嵌入**的概念，也就是 Positional Encoding，位置嵌入的维度为 `[max_sequence_length, embedding_dimension]`, 位置嵌入的维度与词向量的维度是相同的，都是 `embedding_dimension`。`max_sequence_length` 属于超参数，指的是限定每个句子最长由多少个词构成

注意，我们一般以**字**为单位训练 Transformer 模型。首先初始化字编码的大小为 `[vocab_size, embedding_dimension]`，`vocab_size` 为字库中所有字的数量，`embedding_dimension` 为字向量的维度，对应到 PyTorch 中，其实就是 `nn.Embedding(vocab_size, embedding_dimension)`

论文中使用了 sin 和 cos 函数的线性变换来提供给模型位置信息:

![d_7B_5Ctext_7Bmodel_7D_7D_7D_29][]

上式中pos指的是一句话中某个字的位置，取值范围是 ![gif.latex_5B0_2C_20_5C_20max_20_5C_20sequence_20_5C_20length_29][]

i指的是字向量的维度序号取值范围是 ![2_29][],![gif.latex_d_7Bmodel_7D][]指的是embedding\_dimension的值

详细可以看[https://blog.csdn.net/qq\_33932925/article/details/108619971][https_blog.csdn.net_qq_33932925_article_details_108619971]

下面画一下位置嵌入，纵向观察，可见随着embedding dimension序号增大，位置嵌入函数的周期变化越来越平缓

import numpy as np
        import matplotlib.pyplot as plt
        import seaborn as sns
        import math
    
        def get_positional_encoding(max_seq_len, embed_dim):
            # 初始化一个positional encoding
            # embed_dim: 字嵌入的维度
            # max_seq_len: 最大的序列长度
            positional_encoding = np.array([
                [pos / np.power(10000, 2 * i / embed_dim) for i in range(embed_dim)]
                if pos != 0 else np.zeros(embed_dim) for pos in range(max_seq_len)])
            
            positional_encoding[1:, 0::2] = np.sin(positional_encoding[1:, 0::2])  
            # dim 2i 偶数
            positional_encoding[1:, 1::2] = np.cos(positional_encoding[1:, 1::2])  
            # dim 2i+1 奇数
            return positional_encoding
    
        positional_encoding = get_positional_encoding(max_seq_len=100, embed_dim=16)
        plt.figure(figsize=(10,10))
        sns.heatmap(positional_encoding)
        plt.title("Sinusoidal Function")
        plt.xlabel("hidden dimension")
        plt.ylabel("sequence length")

效果图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzOTMyOTI1_size_16_color_FFFFFF_t_70 2][]

plt.figure(figsize=(8, 5))
        plt.plot(positional_encoding[1:, 1], label="dimension 1")
        plt.plot(positional_encoding[1:, 2], label="dimension 2")
        plt.plot(positional_encoding[1:, 3], label="dimension 3")
        plt.legend()
        plt.xlabel("Sequence length")
        plt.ylabel("Period of Positional Encoding")

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzOTMyOTI1_size_16_color_FFFFFF_t_70 3][]

待续

[https_wmathor.com_index.php_archives_1438]: https://wmathor.com/index.php/archives/1438/
[attention is all you need]: https://arxiv.org/pdf/1706.03762.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzOTMyOTI1_size_16_color_FFFFFF_t_70]: /images/20221123/4a5e16f6bc3d498e8a3eef2926c4f18d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzOTMyOTI1_size_16_color_FFFFFF_t_70 1]: /images/20221123/dbfc8daebbed4b9aaff358743395e17d.png
[d_7B_5Ctext_7Bmodel_7D_7D_7D_29]: https://latex.codecogs.com/gif.latex?PE%7B%28pos%2C2i%29%7D%20%3D%20sin%28pos%20/%2010000%5E%7B2i/d_%7B%5Ctext%7Bmodel%7D%7D%7D%29%20%5C%5C%20PE%7B%28pos%2C2i&plus;1%29%7D%20%3D%20cos%28pos%20/%2010000%5E%7B2i/d_%7B%5Ctext%7Bmodel%7D%7D%7D%29
[gif.latex_5B0_2C_20_5C_20max_20_5C_20sequence_20_5C_20length_29]: https://latex.codecogs.com/gif.latex?%5B0%2C%20%5C%20max%20%5C_%20sequence%20%5C_%20length%29
[2_29]: https://latex.codecogs.com/gif.latex?%5B0%2C%20%5C%20embedding%5C_%20dimension/2%29
[gif.latex_d_7Bmodel_7D]: https://latex.codecogs.com/gif.latex?d_%7Bmodel%7D
[https_blog.csdn.net_qq_33932925_article_details_108619971]: https://blog.csdn.net/qq_33932925/article/details/108619971
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzOTMyOTI1_size_16_color_FFFFFF_t_70 2]: /images/20221123/7d0386306132440d8ef0955eaba1d6ab.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzOTMyOTI1_size_16_color_FFFFFF_t_70 3]: /images/20221123/0607cc4d0088458e970b3a1414cb1c3a.png