【论文阅读】EMNLP2020-Semantic Role Labeling Graph Reasoning Network

超、凢脫俗 2022-08-30 11:59 173阅读 0赞

# SRLGRN #

> 论文：EMNLP2020-Semantic Role Labeling Graph Reasoning Network
> 
> 语义角色标注图推理网络

## 任务 ##

提出了一个基于句子语义结构的图推理网络来学习跨段落推理路径，并联合寻找支持事实和答案。

## 方法（模型） ##

### SRLGRN ###

> 该框架在构建推理图网络时会考虑句子的语义结构。 不仅利用节点的语义角色，而且会利用边缘的语义。

*  训练一个段落选择模块来检索gold documents并最小化干扰因素。
 *  构建了一个异类文档级图，其中包含以句子为节点以及SRL子图，其中SRL子图包括语义角色标签参数作为节点，谓词作为边。
 *  训练图编码器来获得图节点表示，该图节点表示在学习的表示中结合了参数类型和谓词边的语义。
 *  最后，共同训练一个multi-hop supporting fact prediction module和answer prediction module。
    
    > multi-hop supporting fact prediction module可以找到跨段落推理路径，answer prediction module可以得到最终答案。
    > 
    > based on contextual semantics graph representations as well as token-level BERT pre-trained representations.

模型结构：

![image-20201230205718629][]

> SRLGRN由段落选择，图形构造，图形编码器，支持事实预测和答案跨度预测模块组成。

### Paragraph Selection ###

*  based on the pre-trained BERT model

两轮解释：

#### First Round Paragraph Selection ####

input: Q 1 Q\_1 Q1  
 Q 1 = \[ \[ C L S \] ; q ; \[ S E P \] ; C \] Q\_1= \[\[CLS\]; q; \[SEP\]; C\] Q1=\[\[CLS\];q;\[SEP\];C\]

> q: question
> 
> C: paragraph content

C = \{ t , s 1 , . . . , s n \} C = \\\{t, s\_1, . . . , s\_n\\\} C=\{ t,s1,...,sn\}

> t: title
> 
>  s n s\_n sn: sentences

*  将 Q 1 Q\_1 Q1输入到预训练的BERT编码器以获得token表示。
 *  使用 B E R T \[ C L S \] BERT\_\{\[CLS\]\} BERT\[CLS\]作为该段的摘要表示。
 *  利用两层MLP输出相关性得分。
 *  选择获得最高相关性得分的段落作为第一相关上下文。
 *  将 q q q连接到所选段落作为 q n e w q\_\{new\} qnew，以进行下一轮段落选择。

#### Second Round Paragraph Selection ####

*  对于剩余的N-1个候选段落，使用与第一轮段落选择相同的模型来生成相关性得分，该相关性得分以 q n e w q\_\{new\} qnew和段落内容为输入。
 *  将问题和两个选定的段落连接起来，形成一个新的上下文，用作图形构造的输入文本。

### Heterogeneous SRL Graph Construction ###

每个数据实例构建一个包含document-level子图 S S S和argument- predicate SRL 子图 A r g Arg Arg的异构图。

*   S S S

> includes question q, title  t 1 t\_1 t1and sentences  s 1 1 , . . . , n s\_1^\{1,...,n\} s11,...,n from first round se- lected paragraph.and title  t 2 t\_2 t2and sentences  s 2 1 , . . . , n s\_2^\{1,...,n\} s21,...,n from the second round selected paragraph.

*   A r g Arg Arg

> 包含使用AllenNLP-SRL模型生成的参数作为节点，谓词作为边。

q , t 1 , s 1 1 , . . . , s n 1 , t 2 , s 1 2 , . . . , s n 2 ∈ S . \{q, t\_1, s\_1 1, . . . , s\_n 1, t\_2, s\_1 2, . . . , sn\_ 2\} ∈ S. q,t1,s11,...,sn1,t2,s12,...,sn2∈S.

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PmTg9Ngk-1629968857104)(/Users/maqi/Library/Application Support/typora-user-images/image-20201230214154969.png)\]

异构图的边添加规则：

1.  如果在该句子中有一个argument，则该句子和argument之间将存在一条边（图3中的黑色虚线）
2.   s i s\_i si和 s s s两个句子，如果他们通过精确匹配共享一个参数，则存在一条边（红色虚线）
3.  两个argument节点 A r g i Arg\_i Argi 和 A r g j Arg\_j Argj之间存在谓词，则存在一条边（黑色实线）
4.  如果它们共享一个argument，则问题和句子之间会有一条边（红色虚线）

建立了一个基于谓词的语义边缘矩阵 K K K和一个异构边缘权重矩阵 A A A。

> 语义边缘矩阵 K K K是一个存储谓词单词索引的矩阵。
> 
> 异构边缘权重矩阵 A A A是存储不同类型边权重的矩阵。

### Supporting Fact Prediction ###

![image-20201231111925399][]

1.   G S G\_S GS: graph sentence embedding(蓝色圆圈)。
2.  BERT’s \[CLS\] token representation： 橙色圆圈。
3.   X S c a n d X\_S^\{cand\} XScand: 候选句子。
4.   S c a n d S\_\{cand\} Scand:候选句子的相邻句子。

X S c a n d = \[ G S c a n d ; B E R T \[ C L S \] ( q , S c a n d ) \] X\_S^\{cand\} = \[G\_S^\{cand\} ; BERT\[CLS\](q, S\_\{cand\})\] XScand=\[GScand;BERT\[CLS\](q,Scand)\]

## 数据集 ##

HotpotQA

## 性能水平 ##

![image-20201231113847927][]

> EM：完全匹配
> 
> F1：部分匹配

在Distractor setting下的测试结果：

该模型在Joint上获得了39.41％的完全精确匹配分数和66.37％的部分匹配分数,远超基线模型，相比其他模型也有明显的提升。这得益于token-level BERT和graph-level SRL node的结合。

## 结论 ##

### Ablation study ###

![image-20201231115716017][]

Graph:

*  删除整个SRL图。
    
    与完整的SRLGRN模型相比，在F1评分上下降了8.46％。 如果删除SRL图，而仅使用BERT进行答案预测，则该模型将失去用于多跳推理的连接。
 *  从SRL图中删除了基于谓词的边缘信息。
    
    如果不合并语义边缘信息和参数类型，则答案跨度预测的F1分数降低2.9％。删除谓词边和参数类型将破坏SRL图中的参数-谓词关系，并打破推理链。

Joint:

如果不共同训练模型，性能将下降4.56％。

Language Models：

尽管BERT获得了相对更好的性能，但ALBERT架构的参数少18X，并且比BERT更快。

## 拓展 ##

语义角色标注 (Semantic Role Labeling, SRL) 是一种浅层的语义分析技术，标注句子中某些短语为给定谓词的论元 (语义角色) ，如施事、受事、时间和地点等。其能够对问答系统、信息抽取和机器翻译等应用产生推动作用。

[image-20201230205718629]: /images/20220829/4de17e8417c441a29c471fecbf34b998.png
[image-20201231111925399]: /images/20220829/36445f15f1a142d48101a6c62d2f2be0.png
[image-20201231113847927]: /images/20220829/149a19364c3e46b594e91e6d56c4205c.png
[image-20201231115716017]: /images/20220829/369c6c9732804dd39f55d278a9321384.png