DatawhaleChina - Task 9 : Attention原理

矫情吗；* 2022-01-26 03:19 235阅读 0赞

### 前言 ###

基本的Attention原理。  
HAN的原理（Hierarchical Attention Networks）。  
利用Attention模型进行文本分类。

### Attention原理 ###

其实直接讲attention原理你应该是听不懂的，神经网络都是发展而来的，都是基于某种问题，而提出来某种方法来解决这类问题的，attention原理也是一样的，它也是因为某种原因提出来来解决这类问题的，我们来看看attention原理解决了那种问题。

###### Encoder-Decoder模型，seq2seq模型 ######

![format_png][]

上图其实从另一种角度思考问题就是一个N - M的神经网络，其中有两个关键词分别意思是：

*  Encoder：神经网络层，对输入数据进行向量运算，一般均为RNN或RNN的变体构成。
 *  Decoder：同样也是神经网络层，对数据进行解析，所谓的解析也是向量运算，得到神经网络输出，一般为RNN或RNN的变体构成。
 *  语义编码C：可以理解为就是一个神经元，保存Encoder阶段的数据，其实也可以不用这个C，放在这个位置其实就是将Encoder阶段与Decoder阶段解耦，它表示的含义非常有限。

这样看非常的抽象，但其实都是神经网络，看下机器翻译任务中网络动图来具体了解一下：  
![aHR0cHM6Ly9yYXcuZ2l0aHVidXNlcmNvbnRlbnQuY29tL0tsYXVzemhhby9waWN0dXJlL21hc3Rlci9waWN0dXJlL0xTVE0vbWFjaGluZS1UcmFuc2xhdGlvbi5naWY][]

*  encode阶段，第一个节点输入一个词，之后的节点输入的是下一个词与前一个节点的hidden state，最终encoder会输出一个context，这个context又作为decoder的输入。
 *  context每经过一个decoder的节点就输出一个翻译后的词，并把decoder的hidden state作为下一层的输入，每一层都有一个输出。

由于这种Encoder-Decoder结构不限制输入和输出的序列长度，因此应用的范围非常广泛，比如：

*  机器翻译。Encoder-Decoder的最经典应用，事实上这一结构就是在机器翻译领域最先提出的
 *  文本摘要。输入是一段文本序列，输出是这段文本序列的摘要序列。
 *  阅读理解。将输入的文章和问题分别编码，再对其进行解码得到问题的答案。
 *  语音识别。输入是语音信号序列，输出是文字序列。

该模型对于短文本的翻译来说效果很好，但是其也存在一定的缺点，如果文本稍长一些，就很容易丢失文本的一些信息，为了解决这个问题，有人提出了Attention机制。

###### Attention机制 ######

![aHR0cHM6Ly9yYXcuZ2l0aHVidXNlcmNvbnRlbnQuY29tL0tsYXVzemhhby9waWN0dXJlL21hc3Rlci9waWN0dXJlL0xTVE0vYXR0ZW50aW9uJUU2JTlDJUJBJUU1JTg4JUI2Z2lmLmdpZg][]  
这是一个机器翻译的网络，我们可以看到，整个框架还是seq2seq框架，只不过在decoder阶段，输入层都会直接影响输出层，并且是有选择的影响，其实意思就是“知识”影响“Knowledge”，不影响“is”、“power”，严谨一点就是输入层有选择性的对某些输出层影响较大，对其他层影响特别小，甚至是没有影响，这就是attention机制的通俗讲解，也叫注意力机制，Attention与传统的Seq2Seq模型主要有以下两点不同：

*  Attention机制中encoder阶段会提供了更多的数据给到decoder，encoder会把所有的节点的hidden state提供给decoder，而Seq2Seq模型只是提供encoder最后一个节点的hidden state。
 *  Attention机制中decoder阶段并不是直接把所有encoder提供的hidden state作为输入，而是采取一种选择机制，把最符合当前位置的hidden state选出来，具体的步骤如下：  
    （1）确定哪一个hidden state与当前节点关系最为密切  
    （2）计算每一个hidden state的分数值（具体怎么计算我们下文讲解）  
    （3）对每个分数值做一个softmax的计算，这能让相关性高的hidden state的分数值更大，相关性低的hidden state的分数值更低。

我们来通过详细的图和公式来窥探其中的奥秘。

######  ######

### HAN的原理 ###

### Attention文本分类 ###

### 参考博客 ###

[完全图解RNN、RNN变体、Seq2Seq、Attention机制][RNN_RNN_Seq2Seq_Attention]

[Attention机制详解][Attention]  
[Attention机制详解（一）——Seq2Seq中的Attention][Attention_Seq2Seq_Attention]  
[深度应用Keras实现Self-Attention文本分类（机器如何读懂人心）][Keras_Self-Attention]

[format_png]: /images/20220126/444d32e9cc42443db6b9537abfed5221.png
[aHR0cHM6Ly9yYXcuZ2l0aHVidXNlcmNvbnRlbnQuY29tL0tsYXVzemhhby9waWN0dXJlL21hc3Rlci9waWN0dXJlL0xTVE0vbWFjaGluZS1UcmFuc2xhdGlvbi5naWY]: /images/20220126/a294952cae9447648b92eeff5c55c16f.png
[aHR0cHM6Ly9yYXcuZ2l0aHVidXNlcmNvbnRlbnQuY29tL0tsYXVzemhhby9waWN0dXJlL21hc3Rlci9waWN0dXJlL0xTVE0vYXR0ZW50aW9uJUU2JTlDJUJBJUU1JTg4JUI2Z2lmLmdpZg]: /images/20220126/022ff6371ec243809b2448b672e62a9f.png
[RNN_RNN_Seq2Seq_Attention]: https://zhuanlan.zhihu.com/p/28054589
[Attention]: https://terrifyzhao.github.io/2019/01/04/Attention%E6%A8%A1%E5%9E%8B%E8%AF%A6%E8%A7%A3.html
[Attention_Seq2Seq_Attention]: https://zhuanlan.zhihu.com/p/47063917
[Keras_Self-Attention]: https://www.cnblogs.com/xiaosongshine/p/10929934.html