【计算机视觉 | Transformer】魔改Transformer！9种提速又提效的模型优化方案分享！

深碍√TFBOYSˉ_ 2024-02-17 12:26 26阅读 0赞

#### 文章目录 ####

*  一、稀疏注意力机制
 *   *  1.1 Longformer: The Long-Document Transformer
     *  1.2 Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting
     *  1.3 Adaptive Attention Span in Transformers
 *  二、Transformer处理长文本
 *   *  2.1 Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
 *  三、Transformer运行提效
 *   *  3.1 REFORMER: THE EFFICIENT TRANSFORMER
     *  3.2 RETHINKING ATTENTION WITH PERFORMERS
     *  3.3 Linformer: Self-Attention with Linear Complexity
 *  四、卷积Attention
 *   *  4.1 Conformer: Convolution-augmented Transformer for Speech Recognition
     *  4.2 LITE TRANSFORMER WITH LONG-SHORT RANGE ATTENTION

Transformer目前已经成为人工智能领域的主流模型，应用非常广泛。然而Transformer中注意力机制计算代价较高，随着序列长度的增加，这个计算量还会持续上升。

为了解决这个问题，业内出现了许多Transformer的魔改工作，以优化Transformer的运行效率。我这次就给大家分享9篇对Transformer模型进行效率优化的改进文章，以方便大家更高效地使用模型，寻找论文创新点。

文章主要涉及4个方向：稀疏注意力机制、Transformer处理长文本、Transformer运行提效以及卷积Attention，原文及源码都已整理。

## 一、稀疏注意力机制 ##

### 1.1 Longformer: The Long-Document Transformer ###

长文档Transformer

「方法简述：」Transformer-based models处理长序列时存在困难，因为它们的自注意力操作与序列长度呈二次方关系。Longformer通过引入一个与序列长度呈线性关系的注意力机制解决了这个问题，使其能够轻松处理数千个标记或更长的文档。Longformer在字符级语言建模方面表现优秀，并在各种下游任务上取得了最先进的结果。此外，Longformer还支持长文档生成序列到序列任务，并在arXiv摘要生成数据集上展示了其有效性。

![在这里插入图片描述][6b9e4d15d944479eaff6dd1d2d0cb0cf.png]

### 1.2 Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting ###

增强局部性并打破Transformer在时间序列预测中的内存瓶颈

「方法简述：」时间序列预测是许多领域中的重要问题，包括太阳能发电厂能源输出、电力消耗和交通拥堵情况的预测。本文提出了使用Transformer来解决这种预测问题的方法。虽然初步研究表明其性能令人印象深刻，但作者发现它有两个主要缺点：局部性不敏感和内存瓶颈。为了解决这两个问题，作者提出了卷积自注意力和LogSparse Transformer，它们能够更好地处理局部上下文并降低内存成本。实验表明，这些方法在时间序列预测方面具有优势。

![在这里插入图片描述][99dab05191bd4cdc8aa385db665fc365.png]

### 1.3 Adaptive Attention Span in Transformers ###

Transformers中的自适应注意力跨度

「方法简述：」论文提出了一种新的自注意力机制，可以学习其最优的注意力跨度。这使得我们可以显著扩展Transformer中使用的最大上下文大小，同时保持对内存占用和计算时间的掌控。作者在字符级语言建模任务上展示了该方法的有效性，在该任务中，作者使用最大8k个字符的上下文实现了在text8和enwiki8上最先进的性能。

![在这里插入图片描述][519b120f25b64fc5a1b90ad36a599696.png]

## 二、Transformer处理长文本 ##

### 2.1 Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context ###

超越固定长度上下文的注意语言模型

「方法简述：」Transformers在语言建模中受到固定长度上下文的限制，作者提出了一种新的神经网络架构Transformer-XL，可以学习超过固定长度的依赖关系。它由一个段级别循环机制和一个新的位置编码方案组成，能够捕捉更长的依赖关系并解决上下文碎片化问题。该方法不仅在短序列和长序列上都取得了更好的性能，而且在评估期间比普通的Transformers快1,800+倍。

![在这里插入图片描述][857aa0e602fd48aca63e953167a0db9f.png]

## 三、Transformer运行提效 ##

### 3.1 REFORMER: THE EFFICIENT TRANSFORMER ###

高效的Transformer

「方法简述：」大型Transformer模型训练成本高，尤其是在长序列上。论文提出了两种技术来提高效率：使用局部敏感哈希替换点积注意力，将复杂度从O(L^2)降低到O(L log L)；使用可逆残差层代替标准残差，允许只存储一次激活。由此产生的Reformer模型在长序列上表现相当，但更内存高效和更快。

![在这里插入图片描述][2732985053bf4949b23533772811ea0e.png]

### 3.2 RETHINKING ATTENTION WITH PERFORMERS ###

重新思考注意力机制：Performer模型

「方法简述：」论文介绍了Performers，一种Transformer架构，可以以可证明的准确性估计常规（softmax）全秩注意力Transformers，但仅使用线性空间和时间复杂度。为了近似softmax注意力核，Performers使用了一种新颖的快速注意通过正交随机特征方法（FAVOR+），并可以用于高效地建模可核化的注意力机制。

![在这里插入图片描述][445d18178c1046dda0bb262150e6973f.png]

### 3.3 Linformer: Self-Attention with Linear Complexity ###

具有线性复杂度的自注意力机制

「方法简述：」大型Transformer模型在自然语言处理应用中表现出色，但长序列的训练和部署成本很高。本文提出一种新自注意力机制，将复杂度从O(n^2)降低到O(n)，同时保持性能不变。由此产生的Linformer比标准的Transformer更节省时间和内存。

![在这里插入图片描述][fba147b3de6c45c99e8bf1a3dfd00670.png]

## 四、卷积Attention ##

### 4.1 Conformer: Convolution-augmented Transformer for Speech Recognition ###

用于语音识别的卷积增强Transformer

「方法简述：」Conformer是一种结合了卷积神经网络和Transformer的模型，用于语音识别。它能够同时捕捉音频序列的局部和全局依赖关系，并实现了最先进的准确率。在LibriSpeech基准测试中，Conformer在不使用语言模型的情况下实现了2.1％/4.3％的WER，在使用外部语言模型的情况下实现了1.9％/3.9％的WER。此外，它还具有竞争力的小模型，只有10M参数。

![在这里插入图片描述][e15a875a080d4d8ebaac627a9a5529cc.png]

### 4.2 LITE TRANSFORMER WITH LONG-SHORT RANGE ATTENTION ###

具有长短范围注意力的轻量级Transformer

「方法简述：」本文提出了一种高效的移动自然语言处理架构Lite Transformer，它使用长短范围注意力（LSRA）来提高性能。LSRA将一组头专门用于局部上下文建模（通过卷积），另一组头则专门用于长距离关系建模（通过注意力）。在三个语言任务上，Lite Transformer始终优于普通的Transformer。在受限资源下，Lite Transformer比Transformer在WMT’14英法翻译任务上高出1.2/1.7 BLEU分数。

![在这里插入图片描述][a98dd2f53e5f47d39e9aab75addd3480.png]

[6b9e4d15d944479eaff6dd1d2d0cb0cf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/fb835bde054142a091811ae72ec0e328.png
[99dab05191bd4cdc8aa385db665fc365.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/b839de2a8fc84206bd0bc6d3f1ea1500.png
[519b120f25b64fc5a1b90ad36a599696.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/6890fb30e5f64ec184f0608a6d14b78c.png
[857aa0e602fd48aca63e953167a0db9f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/b69a380fce2949f191f3891bfb3d2945.png
[2732985053bf4949b23533772811ea0e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/7e1d77d429b040a48530e4472abee2d1.png
[445d18178c1046dda0bb262150e6973f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/f93e02d1303846d09dc53b57c1daef57.png
[fba147b3de6c45c99e8bf1a3dfd00670.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/a9a45981b1994b22b47b45e3e7369a45.png
[e15a875a080d4d8ebaac627a9a5529cc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/6696e97ea8f94ea7ad3ca49ded74fc40.png
[a98dd2f53e5f47d39e9aab75addd3480.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/f5ca368b735144878ff8ff1c4f897184.png