【论文阅读】Coarse-to-Fine Entity Representations for Document-level Relation Extraction

快来打我* 2022-10-29 03:23 182阅读 0赞

> 它采用从粗到细的策略集成全局上下文信息，同时对目标实体之间的远程交互进行建模，从而获得全面的实体表示。

首先，我们使用全连接卷积网络(DCGCN)在粗层次上整合整个图中的全局上下文信息。  
D表示包含N个句子的文档。  
![在这里插入图片描述][20210208104959389.png]图2显示了一个文档级的示例图，对应于一个两句话的文档。该图将文档中的单词视为节点，并通过五类边捕获文档件交互。这些无向边的描述如下。

*  语法依赖边
    
    我们使用spaCy2中的依赖解析器来解析每个句子的语法依赖树。然后，我们在所有有依赖关系的节点对之间添加边。
 *  相邻词边
    
    在相邻单词之间添加边可以减少依赖解析器的错误。因此，我们在文档中相邻的所有节点对之间添加边。
 *  自环边
 *  相邻句子边
    
    为了确保信息能够在句子之间整合，我们在每个相邻的句子对的依赖树根之间添加一条边
 *  共指提及边
    
    共引用可以共享从它们各自的上下文中捕获的信息。这可以看作是全局的跨句交互。因此，我们在所有引用同一实体的提到对的第一个单词之间添加边。

我们的模型由一个文本编码模块、一个粗级表示模块、一个细级表示模块和一个分类模块组成。

**文本编码模块**

该模块的目标是将文档中的每个单词编码为带有文本上下文信息的向量。文本编码模块由嵌入层和上下文编码器组成。

embedding层用的Glove，Bi-GRU是上下文编码器  
![在这里插入图片描述][20210208105906717.png]  
**Coarse-level表示模块**

稠密连通图卷积网络(DCGCN)能够捕获丰富的局部和全局上下文信息。

我们采用DCGCN层作为粗级表示模块。DCGCN层被组织成n个块，第k个块有 m k m\_k mk个子层。在块k的第l个子层，节点 i i i的计算定义为  
![在这里插入图片描述][20210208110629368.png]  
![在这里插入图片描述][20210208110945555.png]

最后，我们将最终块 o i o\_i oi的输出作为粗级表示模块的输出

**Fine-level 表示模块**

Coarse-level表示可以捕获丰富的上下文信息，但可能无法建模远程实体交互。以全局上下文信息为指导，进行了精细Fine层次的分析。

Fine-level 表示模块旨在利用目标实体对之间的路径信息来缓解这一问题。该模块采用基于路径编码器和注意聚合器的基于注意的路径编码机制。

对于一对实体对 ( e 1 , e 2 ) (e\_1,e\_2) (e1,e2)，他们的提及次数分别记为| e 1 e\_1 e1|和| e 2 e\_2 e2|。

在一个子图中，我们提取所有提及对的| e 1 e\_1 e1| \* | e 2 e\_2 e2|个最短路径，只包含语法依赖边和相邻句子边。

对于第 i i i个路径，采用Bi-GRU作为路径编码器来计算路径感知的提及表达。  
![在这里插入图片描述][20210208112230191.png]  
由于并非所有的路径都包含有用的信息，我们设计了一个注意力聚合器，它以全局上下文信息为指导，选择性地聚合路径感知的提及表示：  
![在这里插入图片描述][2021020811234562.png]  
**分类模块**

在这个模块中，我们结合了来自这两个层次的实体表示，以获得既能捕获全局上下文信息又能捕获远程实体交互的全面表示。  
接下来，我们通过一个双线性分类器预测每个关系的概率:

![在这里插入图片描述][20210208112509673.png]  
交叉熵损失：  
![在这里插入图片描述][20210208113252384.png]

[20210208104959389.png]: /images/20221024/b7891a20b6304aa9af82b5848004e60a.png
[20210208105906717.png]: /images/20221024/410405aa34ba4abb8a66082650b75916.png
[20210208110629368.png]: /images/20221024/4931d3db3ce44e9ba6cfb586abd30d99.png
[20210208110945555.png]: /images/20221024/8293ce0e43214cbd8c52d8d0168b040a.png
[20210208112230191.png]: /images/20221024/170b008beb0749188379ca8e53bd5c42.png
[2021020811234562.png]: /images/20221024/714c55874b5b433e8960caa7aecd4f08.png
[20210208112509673.png]: /images/20221024/64ffbd9baf3d422086c1ab079afedf6b.png
[20210208113252384.png]: /images/20221024/26f1ce24fa7745c293d874336bdd6837.png