NLP-生成模型-2017-Transformer（一）：Encoder-Decoder模型【非序列化；并行计算】【O(n^2·d)，n为序列长度，d为维度】【用正余弦函数进行“绝对位置函数式编码”】

喜欢ヅ旅行 2023-10-05 16:09 29阅读 0赞

[《原始论文：Attention Is All You Need》][Attention Is All You Need]

## 一、Transformer 概述 ##

在2017年《Attention Is All You Need》论文里第一次提出Transformer之前，常用的**序列模型**都是基于**卷积神经网络**或者**循环神经网络**，表现最好的模型也是基于encoder- decoder框架的基础加上attention机制。

2018年10月，Google发出一篇论文[《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》][BERT_ Pre-training of Deep Bidirectional Transformers for Language Understanding], BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩!

而在BERT中发挥重要作用的结构就是Transformer, 之后又相继出现XLNet，RoBERT等模型击败了BERT，但是他们的核心没有变，仍然是：Transformer.

相比之前占领市场的LSTM和GRU模型，Transformer有两个显著的优势:

1.  Transformer能够利用分布式GPU进行并行训练，提升模型训练效率.
2.  在分析预测更长的文本时, 捕捉间隔较长的语义关联效果更好.

测评比较图:  
![在这里插入图片描述][20210227100908226.png_pic_center]  
在著名的SOTA机器翻译榜单[https://paperswithcode.com/][https_paperswithcode.com]上, 几乎所有排名靠前的模型都使用Transformer,

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center]  
传统Seq2Seq模型中的神经网络一般使用RNN，但是RNN有个缺点：无法并行计算，导致计算特别耗时。

Transformer 是一种基于 **Encoder-Decoder 结构**、**Attention机制**、**Self-Attention机制**的Seq2Seq模型。Transformer 模型中不再使用RNN或CNN做数据转换，而是使用一种**Self-Attention Layer结构**做数据转换，从而实现并行计算。  
![在这里插入图片描述][20201223154511214.gif_pic_center_pic_center]  
Transformer is a kind of Seq2Seq model with “Self-attention” Layer instead of RNN/CNN 。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 1]  
Transformer 在机器翻译任务上的表现超过了 RNN，CNN，只用 encoder-decoder 和 attention 机制就能达到很好的效果，最大的优点是可以高效地并行化。

Transformer模型的作用：基于seq2seq架构的transformer模型可以完成NLP领域研究的典型任务, 如机器翻译, 文本生成等. 同时又可以构建预训练语言模型，用于不同任务的迁移学习.

在接下来的架构分析中, 我们将假设使用Transformer模型架构处理从一种语言文本到另一种语言文本的翻译工作, 因此很多命名方式遵循NLP中的规则. 比如: Embeddding层将称作文本嵌入层, Embedding层产生的张量称为词嵌入张量, 它的最后一维将称作词向量等.

### 1、Transformer相比于RNN/LSTM有什么优势 ###

对于Transformer比传统序列模型RNN/LSTM具备优势的第一大原因就是强大的并行计算能力.

*  对于RNN来说, 任意时刻t的输入是时刻t的输入x(t)和上一时刻的隐藏层输出h(t-1), 经过运算后得到当前时刻隐藏层的输出h(t), 这个h(t)也即将作为下一时刻t+1的输入的一部分. 这个计算过程是RNN的本质特征, RNN的历史信息是需要通过这个时间步一步一步向后传递的. 而这就意味着RNN序列后面的信息只能等到前面的计算结束后, 将历史信息通过hidden state传递给后面才能开始计算, 形成链式的序列依赖关系, 无法实现并行.
 *  对于Transformer结构来说, 在self-attention层, 无论序列的长度是多少, 都可以一次性计算所有单词之间的注意力关系, 这个attention的计算是同步的, 可以实现并行.

对于Transformer比传统序列模型RNN/LSTM具备优势的第二大原因就是强大的特征抽取能力.

*  Transformer因为采用了Multi-head Attention结构和计算机制, 拥有比RNN/LSTM更强大的特征抽取能力, 这里并不仅仅由理论分析得来, 而是大量的试验数据和对比结果, 清楚的展示了Transformer的特征抽取能力远远胜于RNN/LSTM.
 *  注意: 不是越先进的模型就越无敌, 在很多具体的应用中RNN/LSTM依然大有用武之地, 要具体问题具体分析.

### 2、为什么说Transformer可以代替seq2seq? ###

seq2seq的两大缺陷

*  1: seq2seq架构的第一大缺陷是将Encoder端的所有信息压缩成一个固定长度的语义向量中, 用这个固定的向量来代表编码器端的全部信息. 这样既会造成信息的损耗, 也无法让Decoder端在解码的时候去用注意力聚焦哪些是更重要的信息.
 *  2: seq2seq架构的第二大缺陷是无法并行, 本质上和RNN/LSTM无法并行的原因一样.

Transformer的改进

*  Transformer架构同时解决了seq2seq的两大缺陷, 既可以并行计算, 又应用Multi-head Attention机制来解决Encoder固定编码的问题, 让Decoder在解码的每一步可以通过注意力去关注编码器输出中最重要的那些部分.

### 3、self-attention公式中的归一化有什么作用? 为什么要添加scaled? ###

#### 3.1 self-attention中的归一化概述 ####

训练上的意义: 随着词嵌入维度d\_k的增大, q \* k 点积后的结果也会增大, 在训练时会将softmax函数推入梯度非常小的区域, 可能出现梯度消失的现象, 造成模型收敛困难.

数学上的意义: 假设q和k的统计变量是满足标准正态分布的独立随机变量, 意味着q和k满足均值为0, 方差为1. 那么q和k的点积结果就是均值为0, 方差为d\_k, 为了抵消这种方差被放大d\_k倍的影响, 在计算中主动将点积缩放1/sqrt(d\_k), 这样点积后的结果依然满足均值为0, 方差为1.

#### 3.2 softmax的梯度变化 ####

这里我们分3个步骤来解释softmax的梯度问题:

第一步: softmax函数的输入分布是如何影响输出的.

*  对于一个输入向量x, softmax函数将其做了一个归一化的映射, 首先通过自然底数e将输入元素之间的差距先"拉大", 然后再归一化为一个新的分布. 在这个过程中假设某个输入x中最大的元素下标是k, 如果输入的数量级变大(就是x中的每个分量绝对值都很大), 那么在数学上会造成y\_k的值非常接近1.
 *  具体用一个例子来演示, 假设输入的向量x = \[a, a, 2a\], 那么随便给几个不同数量级的值来看看对y3产生的影响
    
        a = 1时,   y3 = 0.5761168847658291
        a = 10时,  y3 = 0.9999092083843412
        a = 100时, y3 = 1.0
 *  采用一段实例代码将a在不同取值下, 对应的y3全部画出来, 以曲线的形式展示:
    
        from math import exp
        from matplotlib import pyplot as plt
        import numpy as np 
        f = lambda x: exp(x * 2) / (exp(x) + exp(x) + exp(x * 2))
        x = np.linspace(0, 100, 100)
        y_3 = [f(x_i) for x_i in x]
        plt.plot(x, y_3)
        plt.show()
    
    得到如下的曲线:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 2]
 *  从上图可以很清楚的看到输入元素的数量级对softmax最终的分布影响非常之大.
 *  结论: 在输入元素的数量级较大时, softmax函数几乎将全部的概率分布都分配给了最大值分量所对应的标签.

第二步: softmax函数在反向传播的过程中是如何梯度求导的.

*  首先定义神经网络的输入和输出:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 3]
 *  反向传播就是输出端的损失函数对输入端求偏导的过程, 这里要分两种情况,
    
     *  第一种如下所示:  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 4]
     *  第二种如下所示:  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 5]
 *  经过对两种情况分别的求导计算, 可以得出最终的结论如下:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 6]

第三步: softmax函数出现梯度消失现象的原因.

*  根据第二步中softmax函数的求导结果, 可以将最终的结果以矩阵形式展开如下:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 7]
 *  根据第一步中的讨论结果, 当输入x的分量值较大时, softmax函数会将大部分概率分配给最大的元素, 假设最大元素是x1, 那么softmax的输出分布将产生一个接近one-hot的结果张量y\_ = \[1, 0, 0,…, 0\], 此时结果矩阵变为:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 8]
 *  结论: 综上可以得出, 所有的梯度都消失为0(接近于0), 参数几乎无法更新, 模型收敛困难.

#### 3.3 维度与点积大小的关系 ####

针对为什么维度会影响点积的大小, 原始论文中有这样的一点解释如下:

To illustrate why the dot products get large, assume that the components of q and k 
    are independent random variables with mean 0 and variance 1. Then their doct product,
    q*k = (q1k1+q2k2+......+q(d_k)k(d_k)), has mean 0 and variance d_k.

*  我们分两步对其进行一个推导, 首先就是假设向量q和k的各个分量是相互独立的随机变量, X = q\_i, Y = k\_i, X和Y各自有d\_k个分量, 也就是向量的维度等于d\_k, 有E(X) = E(Y) = 0, 以及D(X) = D(Y) = 1.
 *  可以得到E(XY) = E(X)E(Y) = 0 \* 0 = 0
 *  同理, 对于D(XY)推导如下:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 9]
 *  根据期望和方差的性质, 对于互相独立的变量满足下式:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 10]
 *  根据上面的公式, 可以很轻松的得出q\*k的均值为E(qk) = 0, D(qk) = d\_k.
 *  所以方差越大, 对应的qk的点积就越大, 这样softmax的输出分布就会更偏向最大值所在的分量.
 *  一个技巧就是将点积除以sqrt(d\_k), 将方差在数学上重新"拉回1", 如下所示:  
    ![在这里插入图片描述][20210422194847852.png_pic_center]

最终的结论: 通过数学上的技巧将方差控制在1, 也就有效的控制了点积结果的发散, 也就控制了对应的梯度消失的问题!

### 4 Transformer架构的并行化是如何进行的? 具体体现在哪里? ###

#### 4.1 Transformer架构中Encoder的并行化 ####

首先Transformer的并行化主要体现在Encoder模块上.

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 11]

*  1: 上图最底层绿色的部分, 整个序列所有的token可以并行的进行Embedding操作, 这一层的处理是没有依赖关系的.
 *  2: 上图第二层土黄色的部分, 也就是Transformer中最重要的self-attention部分, 这里对于任意一个单词比如  x 1 x\_1 x1, 要计算  x 1 x\_1 x1对于其他所有token的注意力分布, 得到  z 1 z\_1 z1. 这个过程是具有依赖性的, 必须等到序列中所有的单词完成Embedding才可以进行. 因此这一步是不能并行处理的. 但是从另一个角度看, 我们真实计算注意力分布的时候, 采用的都是矩阵运算, 也就是可以一次性的计算出所有token的注意力张量, 从这个角度看也算是实现了并行, 只是矩阵运算的"并行"和词嵌入的"并行"概念上不同而已.
 *  3: 上图第三层蓝色的部分, 也就是前馈全连接层, 对于不同的向量z之间也是没有依赖关系的, 所以这一层是可以实现并行化处理的. 也就是所有的向量z输入Feed Forward网络的计算可以同步进行, 互不干扰.

#### 4.2 Transformer架构中Decoder的并行化 ####

其次Transformer的并行化也部分的体现在Decoder模块上.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 12]

*  1: Decoder模块在训练阶段采用了并行化处理. 其中Self-Attention和Encoder-Decoder Attention两个子层的并行化也是在进行矩阵乘法, 和Encoder的理解是一致的. 在进行Embedding和Feed Forward的处理时, 因为各个token之间没有依赖关系, 所以也是可以完全并行化处理的, 这里和Encoder的理解也是一致的.
 *  2: Decoder模块在预测阶段基本上不认为采用了并行化处理. 因为第一个time step的输入只是一个"SOS", 后续每一个time step的输入也只是依次添加之前所有的预测token.
 *  3: 注意: 最重要的区别是训练阶段目标文本如果有20个token, 在训练过程中是一次性的输入给Decoder端, 可以做到一些子层的并行化处理. 但是在预测阶段, 如果预测的结果语句总共有20个token, 则需要重复处理20次循环的过程, 每次的输入添加进去一个token, 每次的输入序列比上一次多一个token, 所以不认为是并行处理.

### 5、Transformer结构特点： ###

1.  全部用self-attention的自注意力机制。
2.  在self-attention的基础上改进了Multi-Attention和Mask Multi-Attention两种多头注意力机制。
3.  网络由多个层组成，每个层都由多头注意力机制和前馈网络构成。
4.  由于在全局进行注意力机制的计算，忽略了序列中最重要的位置信息，添加了位置编码（Position Encoding），使用正弦函数完成，为每个部分的位置生成位置向量。

Transformer模型在输入时采用的是固定长度序列输入，且Transformer模型的时间复杂度和句子/序列长度的平方成正比（每一层的复杂度： O ( n 2 ⋅ d ) O(n^2·d) O(n2⋅d)， n n n 为句子/序列长度， d d d 为词向量维度），因此一般序列长度都限制在最大512，因为太大的长度，模型训练的时间消耗太大。

此外Transformer模型又不像RNN这种结构，可以将最后时间输出的隐层向量作为整个序列的表示，然后作为下一序列的初始化输入。所以用Transformer训练语言模型时，不同的序列之间是没有联系的，因此这样的Transformer在长距离依赖的捕获能力是不够的，此外在处理长文本的时候，若是将文本分为多个固定长度的片段，对于连续的文本，这无异于将文本的整体性破坏了，导致了文本的碎片化，这也是Transformer-XL被提出的原因。

### 6、Transformer复杂度 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 13]  
**Transformer的复杂度与输入序列的长度的平方成正比：**

O ( n 2 ⋅ d ) O(n^2·d) O(n2⋅d)

*   n n n：表示输入序列长度；
 *   d d d：表示词向量维度，一般取100/200/300

所以Transformer模型的输入序列的长度不能太大，否则会导致Transformer复杂度指数级增长，训练变慢。

**Transformer各类模型中， n n n 一般最长取 512。**

### 7、Transformer的历史意义 ###

1.  提出self-attention，拉开了非序列化模型的序幕。
2.  为预训练模型的到来打下了坚实的基础

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 14]

### 8、Transformer的缺点 ###

尽管 Transformer 最初是为翻译任务而构建的，但最近的趋势表明，它在语言建模上的应用也可以带来显著的效果。但是，为了获得最佳应用，需要对其架构进行一些修改。

为什么？Transformer 有什么问题？

与 RNN 相比，Transformer 的一项重大改进是其捕获长期依赖关系的能力。但是，Transformer 需要存储的中间步骤（梯度）信息比 RNN 要多的多，并且随着序列长度的增加而指数级增加【 O ( n 2 ⋅ d ) O(n^2·d) O(n2⋅d)，其中  n n n 表示输入的文本长度】。换句话说，如果你试图一次输入整个文档，内存可能会爆炸（BOOM！）

为了防止出现此问题，早期有些做法是将文档分成固定大小的文本段（Segment），一次训练一段。这虽然解决了内存问题，但是破坏了模型捕获长期依赖关系的能力。例如句子 “The daughter had a nice umbrella | that her mother gave her”，如果 “daughter” 和 “her” 属于不同段。那么在编码 “her 时将无法知晓"daughter” 的信息。

我们知道GPT就是使用Transformer来进行语言模型的建模。因为Transformer要求输入是定长的词序列(不像RNN可以处理长度不确定的输入序列)，太长的截断，不足的padding，这样我们把一个语料库的字符串序列切分成固定长度的segments。它有下面一些问题：

*  由于定长的要求，我们不可能让输入太长。因此虽然Self-Attention机制虽然不太受长度的约束，但是Transformer的语言模型实际能够考虑的上下文就是输入的长度。
 *  因为我们在序列语言模型的时候通常很难准确的分句(或者有时候一个句子比最大长度还长)，所以一个Segment很可能不是一个完整的句子(甚至它是从某个句子的中间部分开始的)，这样前面的几个词就很难预测(给人一个没头没脑的句子也很难预测)，因为语言模型是自回归的，一步错步步错。这就是所谓的context fragmentation的问题。
 *  预测的性能问题，假设我们要使用Transformer语言模型来计算一个句子的概率(而不是用于下游的任务)，那么我们首先要计算 P ( x 1 ) P(x\_1) P(x1)，然后计算 P ( x 2 ∣ x 1 ) P(x\_2 \\vert x\_1) P(x2∣x1)，……，一直计算到 P ( x T ∣ x 1 , … , x T − 1 ) P(x\_T \\vert x\_1, …, x\_\{T-1\}) P(xT∣x1,…,xT−1)。每个时刻都需要用Transformer计算一次，而不能像RNN那样之前的把历史都编码到一个context向量里。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 15]  
上图做是普通的Transformer语言模型的训练过程。假设Segment的长度为4，如图中我标示的：根据红色的路径，虽然 x 8 x\_8 x8的最上层是受 x 1 x\_1 x1影响的，但是由于固定的segment，x\_8无法利用  x 1 x\_1 x1 的信息。而预测的时候的上下文也是固定的4，比如预测 x 6 x\_6 x6时我们需要根据 \[ x 2 , x 3 , x 4 , x 5 \] \[x\_2,x\_3,x\_4,x\_5\] \[x2,x3,x4,x5\]来计算，接着把预测的结果作为下一个时刻的输入。接着预测 x 7 x\_7 x7的时候需要根据 \[ x 3 , x 4 , x 5 , x 6 \] \[x\_3,x\_4,x\_5,x\_6\] \[x3,x4,x5,x6\]完全进行重新的计算。之前的计算结果一点也用不上。

如何解决这个问题呢？[Transformer-XL][]。

## 二、Transformer总体架构 ##

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 16]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 17]  
![在这里插入图片描述][54ee6a28fb2e43ae8332815b6821effe.png_pic_center]

Transformer总体架构可分为四个部分:

*  输入部分
 *  输出部分
 *  编码器部分
 *  解码器部分

### 1、输入部分 ###

![在这里插入图片描述][20210227103814185.png_pic_center]

*  源文本嵌入层及其位置编码器
 *  目标文本嵌入层及其位置编码器

#### 1.1 Embedding Layer（文本嵌入层） ####

Embedding Layer（文本嵌入层）的作用：无论是源文本嵌入还是目标文本嵌入，都是为了将文本中词汇的数字表示转变为向量表示, 由一维转为多维，希望在高维空间捕捉词汇间的关系.

*  文本中的单词在输入到文本嵌入层之前，已经通过word2index操作转换为数值【每个单词用该单词在所在词汇表中的序号表示】，将字符串形式的单词转为序号形式，然后输入到文本嵌入层。
 *  再通过文本嵌入层将每个单词的一维的数值型序号转为多维向量。

#### 1.2 Positional Encoding（位置编码器） ####

**位置编码器**的作用：因为在Transformer的编码器结构中, 并没有针对词汇位置信息的处理，因此需要在Embedding层后加入位置编码器，将词汇位置不同可能会产生不同语义的信息加入到词嵌入张量中, 以弥补位置信息的缺失.

需要使用位置嵌入的原因也很简单，因为 Transformer 摈弃了 RNN 的结构，因此需要一个东西来标记各个字之间的时序 or 位置关系，而这个东西，就是位置嵌入。

位置编码器中使用sin()函数、cos()函数将所添加的Positional Encoding张量的值域范围控制1到-1，这很好的控制了嵌入数值的大小, 有助于梯度的快速计算.

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 18]  
Transformer中直接采用正弦函数和余弦函数来编码位置信息, 如下图所示:

![在这里插入图片描述][20210422190604744.png_pic_center]

*   d m o d e l d\_\{model\} dmodel 代表词嵌入维度；
 *   i i i 代表当前的维度（从0开始，到 d m o d e l / 2 − 1 d\_\{model\}/2-1 dmodel/2−1 结束）；
 *   p o s pos pos 代表当前单词在当前句子中所处的位置索引；
 *  维度  2 i 2i 2i 以及维度  2 i + 1 2i+1 2i\+1 对 位置索引  p o s pos pos 的缩放因子相等，且都为： 1 1000 0 2 i / d m o d e l \\cfrac\{1\}\{10000^\{2i/d\_\{model\}\}\} 100002i/dmodel1
 *  位置索引  p o s pos pos 在 维度  2 i 2i 2i、 2 i + 1 2i+1 2i\+1 缩放后的值一样，都为  p o s 1000 0 2 i / d m o d e l \\cfrac\{pos\}\{10000^\{2i/d\_\{model\}\}\} 100002i/dmodelpos，不同的是：
    
     *  维度  2 i 2i 2i 用sin() 函数进行再次缩放
     *  维度  2 i + 1 2i+1 2i\+1 用cos() 函数进行再次缩放；

比如： d m o d e l = 512 d\_\{model\} = 512 dmodel=512，句子长度为20，则该句子中第3个单词的位置编码信息（所有512个维度的各个维度的位置编码）为：  
 \[ s i n ( 3 1000 0 2 × 0 / 512 ) , c o s ( 3 1000 0 2 × 0 / 512 ) , s i n ( 3 1000 0 2 × 1 / 512 ) , c o s ( 3 1000 0 2 × 1 / 512 ) , s i n ( 3 1000 0 2 × 2 / 512 ) , c o s ( 3 1000 0 2 × 2 / 512 ) , . . . , s i n ( 3 1000 0 2 × 253 / 512 ) , c o s ( 3

[Attention Is All You Need]: https://arxiv.org/abs/1706.03762
[BERT_ Pre-training of Deep Bidirectional Transformers for Language Understanding]: https://arxiv.org/pdf/1810.04805.pdf
[20210227100908226.png_pic_center]: https://img-blog.csdnimg.cn/20210227100908226.png#pic_center
[https_paperswithcode.com]: https://paperswithcode.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center]: https://img-blog.csdnimg.cn/20210227100939343.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[20201223154511214.gif_pic_center_pic_center]: https://img-blog.csdnimg.cn/20201223154511214.gif#pic_center#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20201223154126197.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20210422194200102.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 3]: https://img-blog.csdnimg.cn/20210422194329798.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 4]: https://img-blog.csdnimg.cn/20210422194400299.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 5]: https://img-blog.csdnimg.cn/20210422194437711.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 6]: https://img-blog.csdnimg.cn/20210422194507134.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 7]: https://img-blog.csdnimg.cn/20210422194535362.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 8]: https://img-blog.csdnimg.cn/20210422194558916.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 9]: https://img-blog.csdnimg.cn/20210422194752240.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 10]: https://img-blog.csdnimg.cn/2021042219481424.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[20210422194847852.png_pic_center]: https://img-blog.csdnimg.cn/20210422194847852.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 11]: https://img-blog.csdnimg.cn/20210422195024585.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 12]: https://img-blog.csdnimg.cn/20210422195256953.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 13]: https://img-blog.csdnimg.cn/fffaf29341584d869b58ccfce32cb629.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 14]: https://img-blog.csdnimg.cn/6a75a986abf1460284516d117bb6f986.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 15]: https://img-blog.csdnimg.cn/81323c7ad9a04e3a844f05969c4a7866.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[Transformer-XL]: https://blog.csdn.net/u013250861/article/details/119335046
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO_size_20_color_FFFFFF_t_70_g_se_x_16_pic_center]: https://img-blog.csdnimg.cn/5e447a08fc874551937401119688cbc4.jpg?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA5b-N6ICF44Gu5Lmx5aSq6YOO,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 16]: https://img-blog.csdnimg.cn/1273e12b78c847898fc277fecaf2e77f.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 17]: https://img-blog.csdnimg.cn/e2960b3c711d42f1a444404869601e0e.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[54ee6a28fb2e43ae8332815b6821effe.png_pic_center]: https://img-blog.csdnimg.cn/54ee6a28fb2e43ae8332815b6821effe.png#pic_center
[20210227103814185.png_pic_center]: https://img-blog.csdnimg.cn/20210227103814185.png#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE_size_16_color_FFFFFF_t_70_pic_center 18]: https://img-blog.csdnimg.cn/2020122315331864.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMyNTA4NjE=,size_16,color_FFFFFF,t_70#pic_center
[20210422190604744.png_pic_center]: https://img-blog.csdnimg.cn/20210422190604744.png#pic_center