【NLP】Transformer背景介绍

素颜马尾好姑娘i 2022-09-17 01:57 184阅读 0赞

### 【NLP】Transformer背景介绍 ###

*  1. Transformer的诞生
 *  2. Transformer的优势
 *  3. Transformer的市场

# 1. Transformer的诞生 #

2018年10月，Google发出一篇论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》, BERT模型横空出世, 并横扫NLP领域11项任务的最佳成绩!

论文地址: `https://arxiv.org/pdf/1810.04805.pdf`

而在BERT中发挥重要作用的结构就是Transformer, 之后又相继出现XLNET，roBERT等模型击败了BERT，但是他们的核心没有变，仍然是：Transformer.

# 2. Transformer的优势 #

相比之前占领市场的LSTM和GRU模型，Transformer有两个显著的优势:

1, Transformer能够利用分布式GPU进行并行训练，提升模型训练效率.    
    2, 在分析预测更长的文本时, 捕捉间隔较长的语义关联效果更好.

下面是一张在测评比较图:

![在这里插入图片描述][1c86f06cd5b1484d95856c3b3c830d73.png]

# 3. Transformer的市场 #

在著名的SOTA机器翻译榜单上, 几乎所有排名靠前的模型都使用Transformer,

![在这里插入图片描述][56fb22cc94f44a7a908fb81d4136cc53.png]  
其基本上可以看作是工业界的风向标, 市场空间自然不必多说！

--------------------

**加油!**

**感谢!**

**努力!**

[1c86f06cd5b1484d95856c3b3c830d73.png]: /images/20220828/c24ca98092274488bcbdb3d43ea96039.png
[56fb22cc94f44a7a908fb81d4136cc53.png]: /images/20220828/7d54ed5199334a6a885c7fab8ec46e80.png

发表评论取消回复

表情：

评论列表（有 0 条评论，184人围观）

还没有评论，来说两句吧...

相关阅读

相关 Nginx背景介绍及特点（一）

Nginx 是俄罗斯人编写的十分轻量级的 HTTP 服务器,Nginx，它的发音为“engine X”，是一个高性能的HTTP和反向代理服务器，同时也是一个 IMAP/POP3

叁歲伎倆/ 2023年02月23日 12:12/ 0 赞/ 45 阅读

相关【NLP】Transformer背景介绍

【NLP】Transformer背景介绍 1. Transformer的诞生 2. Transformer的优势 3. Transformer的市场

素颜马尾好姑娘i/ 2022年09月17日 01:57/ 0 赞/ 185 阅读

相关 Giraph的一些背景介绍

开源项目Giraph的支持者或许都知道，Facebook在开发图谱搜索(Graph Search)服务时，选择采用了Giraph，并开始了对此项开源技术的研究。Facebook

r囧r小猫/ 2022年07月12日 09:25/ 0 赞/ 220 阅读

相关 Kafka背景及架构介绍

Kafka背景及架构介绍 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理

叁歲伎倆/ 2022年06月09日 08:24/ 0 赞/ 218 阅读

相关宜立方商城背景介绍项目（一）

1. 电商行业背景介绍近年来，中国的电子商务快速发展，交易额连创新高，电子商务在各领域的应用不断拓展和深化、相关服务业蓬勃发展、支撑体系不断健全完善、创新的动力和能力不

秒速五厘米/ 2022年06月06日 10:29/ 0 赞/ 240 阅读

相关分布式学习——Zookeeper介绍（一）——背景知识

本文主要介绍什么是分布式系统以及分布式系统存在哪些问题。分布式互联网技术的发展，导致大型网站需要的计算能力和存储能力越来越高。网站架构逐渐从集中式转变成[分布式][

红太狼/ 2022年06月02日 07:35/ 0 赞/ 175 阅读

相关 Zookeeper介绍（一）——背景知识

该系列文章转自Hollis 本文主要介绍什么是分布式系统以及分布式系统存在哪些问题。分布式互联网技术的发展，导致大型网站需要的计算能力和存储能力越来越高。网站架构

浅浅的花香味﹌/ 2022年05月24日 09:35/ 0 赞/ 175 阅读

相关人脸检测背景介绍和发展现状

【原文：[https://zhuanlan.zhihu.com/p/32702868][https_zhuanlan.zhihu.com_p_32702868]】 \if 0

柔光的暖阳◎/ 2022年05月17日 09:28/ 0 赞/ 263 阅读

相关人脸检测背景介绍和发展现状

本文转自：https://zhuanlan.zhihu.com/p/32702868，若侵即删。这篇文章，偏工程实用，不是学术界意义上的检测综述，所以，有些阐述，过于绝对化。挑

短命女/ 2022年05月17日 01:23/ 0 赞/ 232 阅读

相关 Nginx背景介绍

本博客为阅读w3cshool整理：[https://www.w3cschool.cn/nginx/3gdi1pdv.html][https_www.w3cschool.cn_n

ゞ浴缸里的玫瑰/ 2022年01月20日 02:21/ 0 赞/ 248 阅读