《Leverage Lexical Knowledge for Chinese Named Entity Recognition via》解读

旧城等待， 2022-10-27 01:34 122阅读 0赞

@ 苹果树数据科技有限公司-AI部

# 论文地址与代码地址 #

[代码地址][Link 1]  
[论文地址][Link 2]

# Abstract #

**词汇边界信息的缺失**是高性能NER的主要障碍之一，幸运的是，自动构建的结构化词典包含丰富的词汇边界信息和词汇语义信息。然而，融合中文NER的词汇信息面临了挑战，因为self-matched lexical words和最近的上下文词汇，作者提出了**Collborative Graph Network**来解决这个挑战。实验结果显示：在多个任务上，不仅性能提升，而且速度比SOTA模型快6-7倍。

# 1 Introduction #

套路，所有论文一样的写法

# 2 Related Work #

套路，所有论文一样的写法

# 3 Approach #

先介绍图的构建，构建的图能将self-matched lexical words和最近邻的上下文词汇融入到句子，其实图就是**mask**，如果大家对transformer的**Attention**机制比较了解的话，就不难理解了，就是利用这个mask来屏蔽掉那些我们不需要关注的信息；然后介绍**Collborative Graph Network**，它是中文NER任务的核心。

## 3.1 The Construction of Graphs ##

总共有三种图，C-graph、T-graph、L-graph，假设词典V=\{希尔, 希尔顿, 离开, 北京, 北京机场\}，原始的文本是：希尔顿离开北京机场了，三种图有相同的顶点即点集，点集包括句子的字符和matched lexical words，但是边集完全不同。三种图如下图所示：

*  C-graph:  
    ![在这里插入图片描述][2021020218462979.png]  
    它能捕捉self-matched lexical words的边界和语义信息
 *  T-graph  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZGljaGVuZ2ZvMDQxMg_size_16_color_FFFFFF_t_70]  
    它能帮助字符来捕捉最近的上下文词汇的语义信息。
 *  L-graph  
    ![在这里插入图片描述][20210202190200647.png]  
    它能捕捉最近邻的上下文词汇信息和self-matched lexical words。
 *  如何表示三种图  
    三种图的点集相同，只是边集不同，可以使用临界矩阵来表示边集，假设邻接矩阵M，M\[i\]\[j\]=1表示点i和点j是连接的，M\[i\]\[j\]=0表示点i和点j不相连，所以M中的元素值要么是0，表示不相连，要么是1，表示相连。以C-graph为例，根据C-graph的特征，可用下面的矩阵M来表示C-graph。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZGljaGVuZ2ZvMDQxMg_size_16_color_FFFFFF_t_70 1]

## 3.2 Model ##

以字符为基础的**Collaborative Graph Network**包含：Encoding layer, Graph layer, Fusion layer, Decoding layer，如下图（作者有个地方少画了）：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZGljaGVuZ2ZvMDQxMg_size_16_color_FFFFFF_t_70 2]  
Encoding layer捕捉句子的语义信息和词汇的语义信息；Graph layer是以GAT为基础的，它可以对三种图进行建模；Fusion layer用来将句子语义信息和通过三种图捕捉到的信息进行融合；Decoding layer是使用CRF来对labels进行解码。

### Encoding layer ###

这里就很简单了，最后得到 N o d e f Node\_f Nodef  
 N o d e f = \[ h 1 ,    h 2 ,    . . . ,    h n ,    w v 1 ,    w v 2 ,    . . . ,    w v m \] Node\_f=\\lbrack h\_1,\\;h\_2,\\;...,\\;h\_n,\\;wv\_1,\\;wv\_2,\\;...,\\;wv\_m\\rbrack Nodef=\[h1,h2,...,hn,wv1,wv2,...,wvm\]

### Graph layer ###

使用GAT来对三种图进行建模，GAT的操作如下：  
 f i ′ = ∣ ∣ k = 1 K σ ( ∑ j ∈ N i α i j k W k f j ) \{f\_\{i\}\}^\{'\}=\\overset K\{\\underset\{k=1\}\{\\vert\\vert\}\}\\sigma(\\sum\_\{j\\in\{\\mathrm N\}\_\{\\mathrm i\}\}\\alpha\_\{ij\}^kW^kf\_j) fi′=k=1∣∣Kσ(j∈Ni∑αijkWkfj)  
 α i j k = e x p ( L e a k y R e L U ( a T   \[ W k f i ∣ ∣ W k f j \] ) ) ∑ t ∈ N i e x p ( L e a k y R e L U ( a T \[ W k f i ∣ ∣ W k f t \]    ) \\alpha\_\{ij\}^k=\\frac\{exp(LeakyReLU(a^T\\ \[W^kf\_i\\vert\\vert W^kf\_j\]))\}\{ \{\\displaystyle\\sum\_\{t\\in\{\\mathrm N\}\_\{\\mathrm i\}\}\}exp(LeakyReLU(a^T\\lbrack W^kf\_i\\vert\\vert W^kf\_t\\rbrack\\;)\} αijk=t∈Ni∑exp(LeakyReLU(aT\[Wkfi∣∣Wkft\])exp(LeakyReLU(aT \[Wkfi∣∣Wkfj\]))  
 α i j k \\alpha\_\{ij\}^k αijk计算的公式，作者写的有较大问题，我进行了纠正。  
关于有些符号的相关说明，大家可以去看原始论文，我这里向对这个公式两个公式进行一下说明

1.   f i ′ \{f\_\{i\}\}^\{'\} fi′的计算公式中的||是拼接操作，其实这里实现的也是多头注意力机制，类似于transfomer的做法。
2.   α i j k \\alpha\_\{ij\}^k αijk计算的是位置i对位置j的权重，只有两位置是连接的，才会考虑该权重，所以在计算得到 L e a k y R e L U ( a T   \[ W k f i ∣ ∣ W k f j \] ) LeakyReLU(a^T\\ \[W^kf\_i\\vert\\vert W^kf\_j\]) LeakyReLU(aT \[Wkfi∣∣Wkfj\])之后，要把某些未连接的位置进行屏蔽，所以之后乘上了M，用来屏蔽掉某些没连接的边，得到 L e a k y R e L U ( a T   \[ W k f i ∣ ∣ W k f j \] ) LeakyReLU(a^T\\ \[W^kf\_i\\vert\\vert W^kf\_j\]) LeakyReLU(aT \[Wkfi∣∣Wkfj\])之后就进行softmax操作。
3.  令 a T = \[ a 1 T ∣ ∣ a 2 T \] a^T=\\lbrack a\_1^T\\vert\\vert a\_2^T\\rbrack aT=\[a1T∣∣a2T\]，记 W k f i = o i W^kf\_i=o\_i Wkfi=oi，则 W k f j = o j W^kf\_j=o\_j Wkfj=oj，那么 a T \[ W k f i ∣ ∣ W k f j = a 1 T o i + a 2 T o j a^T\\lbrack W^kf\_i\\vert\\vert W^kf\_j=a\_1^To\_i+a\_2^To\_j aT\[Wkfi∣∣Wkfj=a1Toi\+a2Toj。 记A=middle\_result1+middle\_result2，则 A \[ i , j \] = a 1 T o i + a 2 T o j A\[i, j\]=a\_1^To\_i+a\_2^To\_j A\[i,j\]=a1Toi\+a2Toj，表示位置i和位置j之间的权重。
4.  对于该公式，可以加上源码进行更深刻的理解，注意在论文中向量F，即f的集合，F的维度是\[dim, seq\_length\]，而代码中的维度是\[seq\_length, dim\]。

h = self.W(input)  # 输入F'是300维，输出F是30维, input*W h:[batch_size, seq_len, F] 即实现matmul(W_k,f_j)的操作
    # [batch_size, N, out_features]
    batch_size, N,  _ = h.size()
    middle_result1 = torch.matmul(h, self.a1).expand(-1, -1, N)
    middle_result2 = torch.matmul(h, self.a2).expand(-1, -1, N).transpose(1, 2)
    e = self.leakyrelu(middle_result1 + middle_result2)
    attention = e.masked_fill(adj == 0, -1e9)  # 若adj[i][j]==0，说明点i和点j相连，则该位置的权重屏蔽
    attention = F.softmax(attention, dim=2)  # softmax操作求得alpha权重
    attention = F.dropout(attention, self.dropout, training=self.training)
    h_prime = torch.matmul(attention, h)
    if self.concat:
        return F.elu(h_prime)
    else:
        return h_prime

1.  与transformer的self-attention操作的计算量进行对比，只分析求attention score，当然假定seq\_length相同，最后一维的维度都相同。  
    在transformer的self-attention操作中求attention score主要是 Q K T QK^T QKT这一步，假设seq\_length是n，最后一维的维度是d，则计算量是：乘法计算量是 O ( n 2 d ) O(n^2d) O(n2d)，加法计算量是 O ( n 2 d ) O(n^2d) O(n2d)，总的计算量是 O ( 2 n 2 d ) O(2n^2d) O(2n2d)；在Graph中，middle\_result1乘法计算量是 O ( n d ) O(nd) O(nd)，加法计算量是 O ( n d ) O(nd) O(nd)，则middle\_result1和middle\_result2总计算量是 O ( 4 n d ) O(4nd) O(4nd)，middle\_result1+middle\_result2操作的计算量是 O ( n 2 ) O(n^2) O(n2)，即Graph总的计算量是 O ( 4 n d + n 2 ) O(4nd+n^2) O(4nd\+n2)。**所以这里的操作比transformer更高效**。**经过验证，乘法计算量与加法计算量相同**。

得到 G k G\_k Gk之后，因为只需要考虑文本长度n个位置，所以最后的图特征只取前面n个值，即  
 Q k = G k \[ : , 0 : n \] , k = 1 , 2 , 3 Q\_k = G\_k\[:, 0:n\], k=\{1, 2, 3\} Qk=Gk\[:,0:n\],k=1,2,3  
k表示不同的图。

### Fusion layer ###

根据论文和代码中提出了三种方案：

*   R = w 1 H + w 2 Q 1 + w 3 Q 2 + w 4 Q 3 R = w\_1H+w\_2Q\_1+w\_3Q\_2+w\_4Q\_3 R=w1H\+w2Q1\+w3Q2\+w4Q3  
     w 1 、 w 2 、 w 3 w\_1、w\_2、w\_3 w1、w2、w3分别表示待训练的值，通过模型去训练出各个特征对最终特征的比例。
 *   R = W 1 H + W 2 Q 1 + W 3 Q 2 + W 4 Q 3 R = W\_1H+W\_2Q\_1+W\_3Q\_2+W\_4Q\_3 R=W1H\+W2Q1\+W3Q2\+W4Q3  
     W 1 、 W 2 、 W 3 W\_1、W\_2、W\_3 W1、W2、W3分别表示线性映射矩阵
 *   R = W \[ H ∣ ∣ Q 1 ∣ ∣ Q 2 ∣ ∣ Q 3 \] R = W\[H||Q\_1||Q\_2||Q\_3\] R=W\[H∣∣Q1∣∣Q2∣∣Q3\]  
    其实该方法与第二个方法相同，方法2可以进行变换  
     W 1 H + W 2 Q 1 + W 3 Q 2 + W 4 Q 3 = \[ W 1 W 2 W 3 W 4 \] \[ H ∣ ∣ Q 1 ∣ ∣ Q 2 ∣ ∣ Q 3 \] = W \[ H ∣ ∣ Q 1 ∣ ∣ Q 2 ∣ ∣ Q 3 \] W\_1H+W\_2Q\_1+W\_3Q\_2+W\_4Q\_3=\\begin\{bmatrix\}W\_1\\\\W\_2\\\\W\_3\\\\W\_4\\end\{bmatrix\}\\left\[H\\vert\\vert Q\_1\\vert\\vert Q\_2\\vert\\vert Q\_3\\right\]=W\\left\[H\\vert\\vert Q\_1\\vert\\vert Q\_2\\vert\\vert Q\_3\\right\]\\\\\\\\ W1H\+W2Q1\+W3Q2\+W4Q3=⎣⎢⎢⎡W1W2W3W4⎦⎥⎥⎤\[H∣∣Q1∣∣Q2∣∣Q3\]=W\[H∣∣Q1∣∣Q2∣∣Q3\]

# 4 Experiments #

这里也是套路，大家看看论文就行了。

# 优化思路 #

*  使用其他的结构来替代LSTM
 *  词典的设计越精细，越能融入更多词汇的信息，提升模型的性能
 *  使用词典对句子进行匹配的时候，其实可以先进行分词，再匹配。但是这要求分词质量较高，特别是某些专有领域的分词难度更大
 *  可以在模型训练的时候加入对抗训练，提高模型的稳定性
 *  Fusion layer对各个特征进行融合的时候，可以使用其他的融合方法

[Link 1]: https://github.com/DianboWork/Graph4CNER
[Link 2]: https://www.aclweb.org/anthology/D19-1396.pdf
[2021020218462979.png]: /images/20221024/c27db7c4832c439681c5494c9faf92b0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZGljaGVuZ2ZvMDQxMg_size_16_color_FFFFFF_t_70]: /images/20221024/9e26e06f538f46d2b290f9f7183c0c50.png
[20210202190200647.png]: /images/20221024/ec5fdfdff697443b9aa64202a7bade67.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZGljaGVuZ2ZvMDQxMg_size_16_color_FFFFFF_t_70 1]: /images/20221024/e8700a90edb84b198913e00f303fff66.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpZGljaGVuZ2ZvMDQxMg_size_16_color_FFFFFF_t_70 2]: /images/20221024/a82911bb2d6043569e56978d9923b2db.png