【AI前沿】机器阅读理解与问答·Dynamic Co-Attention Networks

谁借莪１个温暖的怀抱￠ 2022-04-15 05:42 389阅读 0赞

# 【AI前沿】机器阅读理解与问答·Dynamic Co-Attention Networks #

[https://zhuanlan.zhihu.com/p/27151397][https_zhuanlan.zhihu.com_p_27151397]

[![Losin][]][Losin 1]

[Losin][Losin 1]

四川大学本硕博连读

24 人赞了该文章

## 内容速览 ##

*  协同注意力 Co-Attention
 *  动态迭代 Dynamic Iteration
 *  DCN模型
 *  Highway和Maxout简介
 *  实验与总结

在上期的文章[【AI前沿】机器阅读理解与问答·介绍篇][AI]中，我们介绍了**机器阅读理解与问答**这一任务。介绍了该任务现在的Benchmark数据集（由Stanford发布的SQuAD）、基本的评价标准（Exact-match、F1-Score）、Baseline（基于特征的逻辑回归方法）以及相关的比赛。

接下来的几期，我们将挑选一些比赛排行榜中的公开的算法，为大家进行介绍。由于这些算法都涉及到了最新最前沿的NLP技术，可以说是充满干货，我们希望通过对这些算法进行讲解和介绍，能够让各位读者朋友了解到NLP领域最前沿的一些方法，这些方法也可以应用并扩展到NLP的其他领域中，诸如我们的KB-QA等等。

今天为大家带来的文章是由Salesforce Research组发表在ICLR2017的[Dynamic Coattention Networks for Question Answer][AI]，该方法的ensemble model在SQuAD比赛中目前排名第9。从文章的名字我们可以注意到两个关键词——Dynmaic和Co-Attention，这是两个在NLP和CV领域都非常流行的两种前沿技术思想。我们以该文章为例，为大家介绍这两种技术，并看看这篇文章是如何使用这两种技术来解决机器阅读理解的。

![v2-6f81724e675dc263d47dec0e18c839c7_hd.png][]

## 协同注意力 ##

协同注意力Co-Attention是注意力机制的一种变体，以机器阅读理解为例，**注意力机制**就很像我们人在做阅读理解时所使用的一种技巧——**带着问题去阅读**，先看问题，再去文本中有目标地阅读以寻找答案。而机器阅读理解则是通过结合问题和文本段落二者的信息，生成一个关于文本段落各部分的注意力权重，对文本信息进行加权，该注意力机制可以帮助我们更好的去捕捉文本段落中和问题相关的信息。

而协同注意力Co-Attention则是一种双向的注意力，不仅我们要给阅读的文本段落生成一个注意力权重，还要给问句也生成一个注意力权重。该技巧在很多的多模态问题中都可以使用，诸如VQA，同时去生成关于图片和问句的Attention。

协同注意力可以分为两种方式：

*  **Parallel Co-Attention**：将数据源A和数据源B的信息结合（Bilinear等方式），再基于结合的信息分别对两种数据源生成其对应的Attention。
 *  **Alternating Co-Attention**：先基于数据源A的信息，产生数据源B的Attention，再基于加入Attention之后的数据源B的信息，去生成数据源A的Attention，类似交替使用两次传统的Attention。

*（想对Co-Attention作进一步了解的朋友推荐阅读文章[Hierarchical Question-Image Co-Attentionfor Visual Question Answering][]）*

我们可以通过Co-Attention技术对问句和阅读文本都生成Attention，以提升模型的性能。

## 动态迭代 ##

动态迭代Dynamic iteration也是NLP领域一种比较前沿的技术思想，其主要思想在于仿照人类在考量问题时，需要反复思考。对于模型输出的结果，我们不直接将它作为最终的结果，而是将它继续输入到模型中作为参考，迭代出新一轮的输出，经过多次迭代，直到输出不再变化或超过迭代次数阈值。

这一技术在文本生成上有很多的应用，反复的去打磨生成的文本，诸如唐诗生成等等。

对于机器阅读理解，模型最终需要预测阅读文本的哪一个片段（Span）是问句的答案，我们则可以引入动态迭代的思想，先预测一个片段，再将预测输入回模型，反复迭代后，得到最终的预测片段。

## DCN模型 ##

通过对协同注意力和动态迭代这两个技术思想的简单介绍后，我们就有了整个Dynamic Coattention Networks (DCN)的框架，如下图

![v2-24f0c6bda64306a7bf1bdce0edb23e19_hd.png][]

整个模型分为两个部分

*  **Coattention Encoder**：对文档和问句信息进行引入Coattention机制的encode
 *  **Dynamic Pointer Decoder**：根据Coattention Encoder，对输出的预测片段（即起始位置指针和终点位置指针）进行动态迭代

接下来，我们具体介绍这两个部分的模型细节。

## Co-Attention Encoder ##

首先，我们使用LSTM分别对问句和阅读文本进行建模。对于阅读文本，我们将LSTM每一时刻的隐层提取出来，得到文本信息矩阵![D][]，作为阅读文本的特征信息。对于问句，我们也将LSTM每一时刻隐层提取出来（为了将问句的encode space能够变换到阅读文本的encode space，我们对提取出来的矩阵作一个非线性变换），得到问句信息矩阵![Q][]。

有了二者的信息特征矩阵后，我们结合两个矩阵的信息（即相乘）：

![v2-b9c5b7959ef2903c2c5981a2e4af017a_hd.png][]

其中，m代表文档的长度，n代表问句的长度。我们对信息结合后的矩阵![L][]分别按行（Row-wise）和按列（Column-wise）求Softmax，就可以得到对文档和问句的Attention矩阵：

![v2-718dbe592a5decabe347a29e1f88bb71_hd.png][]

这里矩阵![A^Q][A_Q]即对于文档中的每一个单词（有m个），都对问句中的每一个单词有一个Normlized的Attention，矩阵![A^D][A_D]同理。

接下来，我们借鉴Alternating Co-Attention的思想，先将Attention应用到问句中：

![v2-8821524609d7cbaf1c1b82fb108434ef_hd.png][]

我们同理也可将Attention应用到文档中，即![QA^D][QA_D]。并且根据Alternating Co-Attention的思想，我们也可以将问句的信息矩阵Q替换为加入了Attention之后的问句信息![C^Q][C_Q]去对文档进行Attention，即![C^QA^D][C_QA_D]，由于这两个步骤都要与![A^D][A_D]矩阵相乘，我们可以并行计算：

![v2-97fbd09e37cbb1e8100e6e5f7fa641ea_hd.png][]

我们将![C^D][C_D]看作是引入Co-Attention机制后的文档信息和文本信息的结合，由于我们最后要基于文档去预测答案片段，所以我们将文档信息D和![C^D][C_D]通过双向LSTM在时序上进行融合：

![v2-a8edaedd6a9fc5124524f289099a3552_hd.png][]

我们将双向LSTM每一时刻的隐层都提取出来，作为整个Co-Attention Encoder部分的最终输出：

![v2-41e220dce0f513141c3e2efa164a7fda_hd.png][]

整个Co-Attention Encoder部分的流程图如下所示：

![v2-34f226c19582940114140657054166aa_hd.png][]

整个Encoder部分可以概括为**通过Co-Attention结合文档和问句的特征信息**，**用双向LSTM对结合后的特征信息和文档信息进行融合**。

## Dynamic Pointer Decoder ##

有了Encoder部分输出的矩阵U，我们要利用该矩阵来预测文档中的片段作为最终答案，即预测该片段在文档的**起始位置**和**终止位置**。我们可以通过动态迭代的方式，去反复迭代预测**起始位置**和**终止位置**，当预测结果不再变化或迭代次数超过阈值，则停止迭代。

整个迭代过程其实就是根据**上一次的预测结果**和**Encoder信息**以及**历史预测信息**，输出**下一次的预测结果**。作者使用了一个Highway Maxout Networks (HMN) 来完成。HMN模型对文档中的每一个字，都分别从【将它作为起始位置】或【终止位置】两个方面进行打分，以对起始位置打分为例：

![v2-02754ecde2a0ec1e016cb7b3b335b450_hd.png][]

其中下标![s\_\{i-1\}, e\_\{i-1\}][s_i-1_ e_i-1]分别表示上一次预测的起始位置和终止位置，![h\_i][h_i]表示**历史预测信息**。对于历史预测信息，我们可以将每一次的预测结果都输入到一个LSTM中去保存该历史预测信息：

![v2-91cbe4085048f0993ff2cfb59d2c5441_hd.png][]

有了每个字的打分，我们就可以选取得分最高字的作为起始位置，对于终止位置的预测是一样的。

那么，最后的问题是，HMN是一个什么样的模型？Highway Maxout Networks，其实就是在传统的MLP（多层感知机）上加入了两个改进，引入了[Highway Network][]中的Skip Connection以及使用[Maxout][]作为激活函数。

*  Highway Network是由深度学习大牛Schimidhuber（LSTM发明者）小组提出的一种网络结构，其**核心思想是将网络前一层的输出，跳着连到更后面的层（Skip Connection），使得模型的深度可以达到上百层**，现在非常火热的残差网络ResNet就是受到了该模型的启发。顺便一提，LSTM之父Schimidhuber本人也是一个人工智能的狂热爱好分子，对AI的发展做出了巨大的贡献，本人在温哥华参加会议时有幸和Schimidhuber单独交流并合影，个人感觉他无论从人品和学术上都非常的nice。
 *  Maxout则是由GAN之父Goodfellow和Yoshua Bengio提出来的一种**可学习的激活函数**，其思想在于**对每一个神经元的输出**，**都通过k组可学习的参数进行加权变换**，得到k个输出，**对k个输出取最大值**作为最终输出。该方法理论上可以学习到任何类型的激活函数，缺点是引入了更多的参数，增加了训练成本和过拟合的可能。

好了，言归正传，HMN的结构如下图所示：

![v2-1c6b2e3fa5b5c082453824c4fb37e619_hd.png][]

先将![u\_\{s\_\{i-1\}\},u\_\{e\_\{i-1\}\},h\_i][u_s_i-1_u_e_i-1_h_i]三个信息拼接后通过单层MLP进行融合得到输出![r][]。再将待预测的位置![u\_t][u_t]和![r][]拼接后输入到一个使用Maxout作为激活函数的三层MLP中。该三层MLP引入skip connection，即将第一层的输出同时也传给第三层。整个流程的公式如下：

![v2-c9b4dca0035da1e55e366b749ac9611c_hd.png][]

我们再用下面这张图，将整个Dynamic Pointer Decoder的结构做一个总结：

![v2-0b12e10b8b39a4cb8e491f15a4c19c6e_hd.png][]

整个Decoder部分可以概括为**用HMN根据历史预测信息、上一次预测情况对每文档中每一个字作为起始位置（或终止位置）进行打分**，**用LSTM存储历史预测信息**，将**最后一次迭代得分最高的作为起始位置（或终止位置**），得到文档片段作为最终答案。

## 实验与总结 ##

模型所有隐层大小（LSTM units、Maxout layers、Linear layers）都设置为200，动态迭代的最大迭代次数为4（即迭代四次如果预测结果还不固定依旧停止），作者发现使用预训练并固定的word embedding效果较好。

作者也对模型进行了一个Ablation Study，结果如下：

![v2-730dda66a93c8d1dc20ddec7c2689870_hd.png][]

可以看出HMN、Dynamic Iteration以及Co-Attention都对模型有不同程度的提升。

作者实验发现模型对文档和问句的长度并不敏感（侧面说明了Co-Attention机制能够减少文档长度对模型的影响）。但是当答案长度增长时，模型的性能会有一定的退化。

下图直观的展现了动态迭代预测起始位置和终止位置的情况。图中**颜色越深**（蓝色系的条表示预测起始位置，橙色系的条表示预测终止位置）表示该位置作为起始位置（或终止位置）的**打分越高**。

![v2-1e96787f9ca8a4cd76135c6943b5f1e1_hd.png][]

可以看出第一次预测的时候，预测的span是\[5,22\]，经过三次迭代后，成功预测出了正确答案\[21,22\]。实验结果表明，平均需要的迭代次数为2.7次。

我们最后再对该方法做一个总结，该方法采用了最基本的seq2seq框架来对答案片段的起始和终止位置进行预测。在seq2seq框架的**Encoder部分**，加入**Co-Attention机制**去融合问句和文档信息，再将融合信息和文档信息通过**双向LSTM**再次融合。**Decoder部分**使用**HMN**对结果进行预测，通过一个**LSTM保存历史预测信息**。

该方法的single model F1-Score为75.9，ensemble model F1-Score为80.4。

下期，我们将介绍机器阅读理解任务的另一系列方法，seq-Match-seq，敬请期待。

[https_zhuanlan.zhihu.com_p_27151397]: https://zhuanlan.zhihu.com/p/27151397
[Losin]: /images/20220415/321d9796efea435290f9d78c2a550160.png
[Losin 1]: https://www.zhihu.com/people/liu-da-41-85
[AI]: https://zhuanlan.zhihu.com/p/26797594
[v2-6f81724e675dc263d47dec0e18c839c7_hd.png]: /images/20220415/55b61262aea449feb1dc609c964f4661.png
[Hierarchical Question-Image Co-Attentionfor Visual Question Answering]: http://link.zhihu.com/?target=https%3A//arxiv.org/abs/1606.00061
[v2-24f0c6bda64306a7bf1bdce0edb23e19_hd.png]: /images/20220415/6cce746955b94e5c9f88bef1f409024c.png
[D]: http://www.zhihu.com/equation?tex=D
[Q]: /images/20220415/0cd121559c374f2dbd6cb4e3cc612fb3.png
[v2-b9c5b7959ef2903c2c5981a2e4af017a_hd.png]: /images/20220415/b2638a3efa8e4d46be38c00b6c0bc0c9.png
[L]: /images/20220415/4636643e6d45439db535f17e16af58ed.png
[v2-718dbe592a5decabe347a29e1f88bb71_hd.png]: /images/20220415/bb9f6fcf607544c3a58c30e1061c9d39.png
[A_Q]: http://www.zhihu.com/equation?tex=A%5EQ
[A_D]: /images/20220415/a5af7287084e489ea4ede259008fc12e.png
[v2-8821524609d7cbaf1c1b82fb108434ef_hd.png]: /images/20220415/e3f33a1d21504035bdcd770afbf40e3c.png
[QA_D]: /images/20220415/0cd121559c374f2dbd6cb4e3cc612fb3.pngA%5ED
[C_Q]: http://www.zhihu.com/equation?tex=C%5EQ
[C_QA_D]: http://www.zhihu.com/equation?tex=C%5EQA%5ED
[v2-97fbd09e37cbb1e8100e6e5f7fa641ea_hd.png]: /images/20220415/434a249881ce4ba28f767162254f5c4a.png
[C_D]: /images/20220415/f8decbecee314be9a71571eab84d8a7a.png
[v2-a8edaedd6a9fc5124524f289099a3552_hd.png]: /images/20220415/354ab86793d24c55849c8c858479ef7d.png
[v2-41e220dce0f513141c3e2efa164a7fda_hd.png]: /images/20220415/0770ef6fdfb34e548d9e80a05d4f6c79.png
[v2-34f226c19582940114140657054166aa_hd.png]: /images/20220415/24ba45a7aa614853b587ff78f745129d.png
[v2-02754ecde2a0ec1e016cb7b3b335b450_hd.png]: /images/20220415/2c29e592fedc483d8e5d15c27b4c38b8.png
[s_i-1_ e_i-1]: http://www.zhihu.com/equation?tex=s_%7Bi-1%7D%2C+e_%7Bi-1%7D
[h_i]: /images/20220415/531591a1ca2a4fcfb1de7af4c73a74b5.png
[v2-91cbe4085048f0993ff2cfb59d2c5441_hd.png]: /images/20220415/88cb626b2add4e1daa866ee420985bba.png
[Highway Network]: http://link.zhihu.com/?target=https%3A//arxiv.org/abs/1505.00387
[Maxout]: http://link.zhihu.com/?target=http%3A//proceedings.mlr.press/v28/goodfellow13.pdf
[v2-1c6b2e3fa5b5c082453824c4fb37e619_hd.png]: /images/20220415/fd66fc1326db480e96a14b73bfd1ebd8.png
[u_s_i-1_u_e_i-1_h_i]: http://www.zhihu.com/equation?tex=u_%7Bs_%7Bi-1%7D%7D%2Cu_%7Be_%7Bi-1%7D%7D%2Ch_i
[r]: /images/20220415/3ea96ef96c944c999b0f174f89b0c148.png
[u_t]: http://www.zhihu.com/equation?tex=u_t
[v2-c9b4dca0035da1e55e366b749ac9611c_hd.png]: /images/20220415/34c986a697ec44a2ae9182fa9a310288.png
[v2-0b12e10b8b39a4cb8e491f15a4c19c6e_hd.png]: /images/20220415/9d9403a6564d4c6394ce9b5659eba80d.png
[v2-730dda66a93c8d1dc20ddec7c2689870_hd.png]: /images/20220415/0a3bae86f53b441a91ceb514ea00e9c0.png
[v2-1e96787f9ca8a4cd76135c6943b5f1e1_hd.png]: /images/20220415/cbd1212de0384ab4aac8ebf62ef3dbb6.png