基于Python的自然语言处理注意力模型

骑猪看日落 2023-10-15 12:29 49阅读 0赞

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88268050  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88268050

## 自然语言处理，注意力模型 ##

最近我突然有了一些富余的整块时间。于是我实现了一些有意思的论文的 idea, 其中印象最深的还是《Hierarchical Attention Networks for Document Classification》。

### 综述 ###

今天，基本上所有的 NLP 方面的应用，如果想取得 state-of-art 的结果，就必须要经过 attention model 的加持。比如 machine translation, QA(question-answer), NLI(natural language inference), etc, etc…. 但是这里有个问题: 传统上的 attention 的应用，总是要求我们的 task 本身同时有源和目标的概念。比如在 machine translation 里, 我们有源语言和目标语言，在 QA 里我们有问题和答案，NLI 里我们有 sentence pairs …… 而 Attention 常常被定义为目标和源的相关程度。

但是还有很多 task 不同时具有源和目标的概念。比如 document classification, 它只有原文，没有目标语言/文章， 再比如 sentiment analysis（也可以看做是最简单的一种 document classification）,它也只有原文。那么这种情况下 attention 如何展开呢？ 这就需要一个变种的技术，叫 intra-attention（或者 self-attention）, 顾名思义，就是原文自己内部的注意力机制。

intra-attention 有不同的做法。比如前一段 Google 发的那篇《Attention is All You Need》，在 machine translation 这个任务中，通过把 attention 机制 formularize 成 Key-Value 的形式，很自然的表达出源语言和目标语言各自的 intra-attention. 这么做的好处是在句子内部产生清晰的 1.语法修饰 2. 语义指代关系 方面的理解，也就是说对句子的结构和意义有了更好的把控。

如下盗图所示：

![3810dda26dbf1647612ea5145e6cb848.png][]

如上两图分别代表了原文在两个不同子空间的投影的注意力结果(具体做法见原 Google 的论文，这里的介绍从略)。我们可以看到清晰的指代关系和修饰关系。文章引入的 self-attention 机制加上 positional embedding 的做法，可能是将来的一个发展方向。

### 方法 ###

这篇论文采取了非常不一样的做法。它引入了 context vector 用来发现每个词语和每个句子的重要性。

它基于这样的 observation:

每个 document 由多个句子组成，而在决定文章的类型时，每个句子有不同的重要性。有的更相关一些，有的用处不大。比如说在一篇有关动物科学的文章中，某些句子和文章的主题相关性就很高。比如包含类似于“斑马”或者“猎食者”，“伪装”这样词语的句子。我们在建造模型时，最好能够给这样的句子更多的“attention”。 同样的，对于每个句子而言，它所包含的每个词语的重要性也不一样，比如在 IMDB 的 review 中， 如 like, amazing, terrible 这样的词语更能够决定句子的 sentiment

所以，在分类任务中，如果我们给模型一篇文章，我们想问模型的问题是：1. 在这篇文章中，哪些句子更重要，能够决定它的分类？ 2. 在这篇文章的某个句子中，哪些词语最重要，能够影响句子在文章里的重要性？

那么，如何向模型提出这样的问题呢? 或者说如何让模型理解我们的意图呢? 作者是通过引入 context vector 做到的。这个 context vector 有点天外飞仙的感觉, 之所以给我这样的感觉，是因为：

context vector 是人工引入的，它不属于 task 的一部分。它是随机初始化的。

它代替了 inter-attention 中目标语言/句子，能够和 task 中的原文产生相互作用，计算出原文各个部分的相关程度，也就是我们关心的 attention。

它是 jointly learned。 也就是说，它本身，也是学习得来的 ！！

具体而言，网络的架构如下：

![47f575f9f020076236d08dc36c4236b0.png][]

网络由四个部分组成：word sequence layer, word-attention layer, sentence sequence layer, and sentence-attention layer

如果没有图中的 uw(词语级别的 context vector)和 us(句子级别的 context vector)，这个模型也没有什么特殊的地方。它无非是由 word sequence layer 和 sentence sequence layer 组成的一个简单的层级的 sequence 模型而已。而有了这两个 context vector, 我们就可以利用它们产生 attention layer, 求出每个词语和每个句子的任务相关程度。

具体做法如下，针对每一个句子，用 sequence model, 就是双向的 rnn 给表达出来，在这里用的是 GRU cell。每个词语对应的 hidden vector 的输出经过变换（affine+tanh）之后和 uwuw 相互作用（点积），结果就是每个词语的权重。加权以后就可以产生整个 sentence 的表示。从高一级的层面来看(hierarchical 的由来)，每个 document 有 L 个句子组成，那么这 L 个句子就可以连接成另一个 sequence model, 同样是双向 GRU cell 的双向 rnn，同样的对输出层进行变换后和 us 相互作用，产生每个句子的权重，加权以后我们就产生了对整个 document 的表示。最后用 softmax 就可以产生对分类的预测。

每次的“提问”，都是由 uw 和 us 来实现的，它们用来找到高权重的词语和句子。下面看看实现。

### 实现 ###

下面是我用 tensorflow 的实现。具体见我的 github:

word-sequence 和 sentence-sequence 都通过下面这个 module 实现。

这里使用了双向的 dynamic 的 rnn，实际上 static 的 rnn 效果也不错

不同的 IMDB 的 reviews 大小不一样，有的包含了几十个句子，有的只包含了几个句子, 为了让 rnn 模型更加精确，我把每个 batch 内部的 review 的实际长度（review 所包含的句子个数）存在了 seq\_lens 里面。这样在调用 bidirectional\_dynamic\_rnn 时，rnn 精确的知道计算该在哪里停止。

word-attention 和 sentence-attention 都通过调用这个 module 来实现

![9d575eb7e6f9abd68bdda0c735b21573.png][]

注意第 65 行 uw 就是我们说的 context vector (我在第 69 行把它称之为 summarizing question vector)

### 结果 ###

根据原 paper 的做法，利用 data 先 pretrain 了 word embeddings sequence 层之后加了 dropout, 用处不甚明显。

最大的 review 长度控制在 15 个句子， 每个句子的长度固定为 70。

最后的大概精度是 0.9 左右。我现在的计算资源非常有限，所以不能实验太多别的参数。

以下是几个例子。红色的深度代表句子对于 review 的 sentiment 的重要性，黄色的深度代表词语对于句子的重要性。

0 代表 negative, 1 代表 positive

![e3aabb5b253831bcf8652a9c9ef0f298.png][]

![77acf4170dc9cf41ebb29eb166a4e63d.png][]

总结一下： 这种 intra-attention 机制很有创意，也挺有效。根据我不完全的实验，hierarchical attention model 明显好于其他的比如 stacked bi-directional RNN, CNN text(Yoon Kim 的版本)。 说不完全是因为我的计算资源非常有限，我只是实现了这些模型，没有仔细的调参, 而且我只对 2-class 的 IMDB 作了实验。 所以上面的结论不够严谨，仅供参考。

我当然相信 attention 的效果，但是比较无法忍受 sequence model 的速度。最近新的突破（SRU）或许能够大幅度提升 sequence model 的效率，但是我还是想试试 CNN+attention， 原因是一来比较看好 CNN 的速度，而来 attention 可以一定程度上弥补 CNN 在长程相关性上的缺陷。

![79195c471d5a1adf5a308b80768c3e32.png][]

https://zhuanlan.zhihu.com/p/26892711

在 componet 里面定义了 sequence 和 attention 两个模块

在 models 里面 build graph 的时候，

先用一个 embeddings 对词进行向量化词编码器，reshape 之后得到 word\_rnn\_inputs\_formatted，作为 sequence 的输入，

word_rnn_outputs = sequence(word_rnn_inputs_formatted, hidden_size, None)

在 sequence 模块中用双向的 GRU 网络,可以将正向和反向的上下文信息结合起来，获得隐藏层输出。

然后把隐藏层拼在一起 atten\_inputs = tf.concat(word\_rnn\_outputs, 2)，作为 attention 模块的输入。

后面句子层面类似  
向的上下文信息结合起来，获得隐藏层输出。

然后把隐藏层拼在一起 atten\_inputs = tf.concat(word\_rnn\_outputs, 2)，作为 attention 模块的输入。

后面句子层面类似

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88268050  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88268050

[Link 1]: https://download.csdn.net/download/sheziqiong/88268050
[3810dda26dbf1647612ea5145e6cb848.png]: https://img-blog.csdnimg.cn/img_convert/3810dda26dbf1647612ea5145e6cb848.png
[47f575f9f020076236d08dc36c4236b0.png]: https://img-blog.csdnimg.cn/img_convert/47f575f9f020076236d08dc36c4236b0.png
[9d575eb7e6f9abd68bdda0c735b21573.png]: https://img-blog.csdnimg.cn/img_convert/9d575eb7e6f9abd68bdda0c735b21573.png
[e3aabb5b253831bcf8652a9c9ef0f298.png]: https://img-blog.csdnimg.cn/img_convert/e3aabb5b253831bcf8652a9c9ef0f298.png
[77acf4170dc9cf41ebb29eb166a4e63d.png]: https://img-blog.csdnimg.cn/img_convert/77acf4170dc9cf41ebb29eb166a4e63d.png
[79195c471d5a1adf5a308b80768c3e32.png]: https://img-blog.csdnimg.cn/img_convert/79195c471d5a1adf5a308b80768c3e32.png