论文阅读《Named Entity Recognition with Small Strongly Labeled and Large Weakly Labeled Data》

冷不防 2022-10-09 04:50 170阅读 0赞

# 前言 #

*  文章来源：LawsonAbs（CSDN）
 *  论文[地址][Link 1]
 *  望各位读者审慎阅读。

--------------------

**这是一篇你绝对能看懂的硬文！  
这是一篇你绝对能看懂的硬文！  
这是一篇你绝对能看懂的硬文！**

--------------------

是不是感觉`NER`领域效果提升太过困难？最近一篇来自Amazon的文章提出使用强弱标签结合的方式来解决NER的问题。立足更具现实的数据情况（强标签数据少，弱标签数据多），本文不是第一个提出使用强弱标签数据结合的方式来解决NER问题，但实验显示在`E-commerce NER` 和 `Biomedical NER` 上，该方法具有一定的效果。

# 0. 定义的变量 #

因为论文中的变量涉及的较多，这里先给出下面会用到的变量解释。

*   Y Y Y ： 人工标注的标签
 *   Y ^ w \\hat Y^w Y^w：由无标签数据+知识库生成得到的弱标签数据
 *   Y ^ p \\hat Y^p Y^p：由模型预测得到的标签
 *   Y ^ c \\hat Y^c Y^c ：根据 Y ^ w \\hat Y^w Y^w 和  Y ^ p \\hat Y^p Y^p 按照一定规则组合得到的补全（`completed`）数据

# 1. 文章讲什么？ #

现实世界的场景是：少量的强标签数据（正确地人工标注数据）和大量的弱标签数据。但是之前的模型要么是大量的人工标签数据（不现实&难以为继）；大量的弱标签数据（模型效果不好）。于是文章采取一种折中的办法，使用少量的强标签数据结合大量的弱标签训练模型。

# 2. 文章做了什么？ #

*  采用少量的强标签和大量的弱标签数据联合分阶段训练模型

# 3. 文章怎么做的？ #

在看文章的细节架构之前，看一下模型训练的整个过程。![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]

## 3.1 使用少量的强标签数据&大量的弱标签数据 ##

*  在stage 1中会使用无标签数据进行预训练
 *  在stage 2中会使用大量的弱标签数据。stage 2中会使用弱标签数据进行一个补全操作，得到较为完善的弱标签；
 *  在stage 2/3 中会使用少量的强标签数据。stage 2 中使用强标签数据进行预训练；stage 3中使用强标签数据进行微调。

## 3.2 分阶段看干了什么 ##

### 3.2.1 `stage 1` ###

利用无标签数据预训练，预训练的方式是MLM。模型从朴素BERT变成了 `In-Domain BERT`

### 3.2.2 `stage 2` ###

*  利用领域内知识将无标签数据转换成弱标签数据。
 *  接着使用 `In-Domain BERT`结合强标签数据监督训练，得到模型`Initial BERT-CRF`
 *  使用上面得到的`Initial BERT-CRF` 做一个 `Weak Label Comletion` 操作，这个操作主要是结合 `Initial BERT-CRF`得到的预测值和之前得到的弱标签值。公式如下：  
     y i c = \{ y i p y i w = O ( n o n − e n t i t y ) y i w o t h e r w i s e y\_i^c=\\left\\\{ \\begin\{aligned\} &y\_i^p &y\_i^w =O (non-entity) \\\\ &y\_i^w &otherwise \\end\{aligned\} \\right. yic=\{ yipyiwyiw=O(non−entity)otherwise
 *  根据completion之后的弱标签数据，可以在`Initial BERT-CRF`的基础上进行训练得到`Pre-trained BERT-CRF`  
    针对这里的训练，作者设计了一个`Noise-Aware Loss Function`。其主要思想是：  
    根据置信度判断生成的标签效果，进而设计出一个损失函数。这里的置信度生成是根据`histogram binning` (Zadronzny and Elkan, 2001) 来做到的。`Noise-Aware Loss Function` 的表达式如下：  
     l N A ( Y c ~ , f ( X ~ ; θ ) ) = E Y ~ m = Y ~ m c ∣ X ~ m L ( Y ~ m c , f ( X ~ m ; θ ) , 1 ( Y ~ m = Y ~ m c ) ) = P ^ ( Y ~ c = Y ~ ∣ X ~ ) l ( Y ~ c , f ( X ~ ; θ ) ) + P ^ ( Y ~ c ≠ Y ~ ∣ X ~ ) l − ( Y ~ c , f ( X ~ ; θ ) ) \\begin\{aligned\} &l\_\{NA\}(\\widetilde\{Y^c\},f(\\widetilde\{X\};\\theta))\\\\ &=E\_\{\\widetilde\{Y\}\_m=\\widetilde\{Y\}\_m^c |\\widetilde\{X\}\_m\} L(\\widetilde\{Y\}\_m^c,f(\\widetilde\{X\}\_m;\\theta),\\bold\{1\}(\\widetilde\{Y\}\_m=\\widetilde\{Y\}\_m^c)) \\\\ &=\\hat P (\\widetilde Y^c = \\widetilde Y|\\widetilde X)l(\\widetilde\{Y\}^c,f(\\widetilde\{X\};\\theta))+ \\hat P (\\widetilde Y^c \\neq \\widetilde Y|\\widetilde X)l^-(\\widetilde\{Y\}^c,f(\\widetilde\{X\};\\theta)) \\end\{aligned\} lNA(Yc,f(X;θ))=EYm=Ymc∣XmL(Ymc,f(Xm;θ),1(Ym=Ymc))=P^(Yc=Y∣X)l(Yc,f(X;θ))\+P^(Yc=Y∣X)l−(Yc,f(X;θ))
 *  目的：计算corrected weak labels  Y ^ c \\hat Y^c Y^c 和 the model prediction score  f ( X ^ ; θ ) f(\\hat\{X\};\\theta) f(X^;θ) 之间的损失，损失定义的公式
 *   Y m c ^ \\hat\{Y\_m^c\} Ymc^ 是什么意思？ => 第m个token的golden label
 *   1 ( Y ~ m = Y ~ m c ) ) \\bold\{1\}(\\widetilde\{Y\}\_m=\\widetilde\{Y\}\_m^c)) 1(Ym=Ymc))：是一个`Indicator function`，其含义是如果后面这个表达式为真，则值为1，否则为0.  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]

这个公式相当于是一个求期望的过程：

*  当 Y ^ \\hat Y Y^ 和  Y ^ c \\hat Y^c Y^c相等时，取  P ^ ( Y ~ c = Y ~ ∣ X ~ ) l ( Y ~ c , f ( X ~ ; θ ) ) \\hat\{P\}(\\widetilde\{Y\}^c = \\widetilde\{Y\}|\\widetilde X) l(\\widetilde\{Y\}^c,f(\\widetilde X;\\theta)) P^(Yc=Y∣X)l(Yc,f(X;θ))作为损失；
 *  当 Y ^ \\hat Y Y^ 和  Y ^ c \\hat Y^c Y^c不等时，取 P ^ ( Y ~ c ≠ Y ~ ∣ X ~ ) l − ( Y ~ c , f ( X ~ ; θ ) ) \\hat\{P\}(\\widetilde\{Y\}^c \\neq \\widetilde\{Y\}|\\widetilde X) l^-(\\widetilde\{Y\}^c,f(\\widetilde X;\\theta)) P^(Yc=Y∣X)l−(Yc,f(X;θ))作为损失。

### 3.2.3 `stage 3` ###

*  使用强标签数据在`Pre-trained BERT-CRF`上监督训练，得到最后的`BERT-CRF`

# 4. `cofidence Estimation` #

文章的一个亮点就是使用 `confidence estimation`设计一个损失函数，也就是下面这个公式中的最后一行：  
 l N A ( Y c ~ , f ( X ~ ; θ ) ) = E Y ~ m = Y ~ m c ∣ X ~ m L ( Y ~ m c , f ( X ~ m ; θ ) , 1 ( Y ~ m = Y ~ m c ) ) = P ^ ( Y ~ c = Y ~ ∣ X ~ ) l ( Y ~ c , f ( X ~ ; θ ) ) + P ^ ( Y ~ c ≠ Y ~ ∣ X ~ ) l − ( Y ~ c , f ( X ~ ; θ ) ) \\begin\{aligned\} &l\_\{NA\}(\\widetilde\{Y^c\},f(\\widetilde\{X\};\\theta))\\\\ &=E\_\{\\widetilde\{Y\}\_m=\\widetilde\{Y\}\_m^c |\\widetilde\{X\}\_m\} L(\\widetilde\{Y\}\_m^c,f(\\widetilde\{X\}\_m;\\theta),\\bold\{1\}(\\widetilde\{Y\}\_m=\\widetilde\{Y\}\_m^c)) \\\\ &=\\hat P (\\widetilde Y^c = \\widetilde Y|\\widetilde X)l(\\widetilde\{Y\}^c,f(\\widetilde\{X\};\\theta))+ \\hat P (\\widetilde Y^c \\neq \\widetilde Y|\\widetilde X)l^-(\\widetilde\{Y\}^c,f(\\widetilde\{X\};\\theta)) \\end\{aligned\} lNA(Yc,f(X;θ))=EYm=Ymc∣XmL(Ymc,f(Xm;θ),1(Ym=Ymc))=P^(Yc=Y∣X)l(Yc,f(X;θ))\+P^(Yc=Y∣X)l−(Yc,f(X;θ))  
我们假设补充完标签后的弱标签数据真正的golden标签是  Y ~ \\widetilde Y Y， P ^ ( Y ~ c = Y ~ ∣ X ~ ) \\hat P (\\widetilde Y^c = \\widetilde Y|\\widetilde X) P^(Yc=Y∣X) 的含义就是估计我们使用的 Y ~ c \\widetilde Y^c Yc 为真实标签的概率。但是这个  P ^ ( Y ~ c = Y ~ ∣ X ~ ) \\hat P (\\widetilde Y^c = \\widetilde Y|\\widetilde X) P^(Yc=Y∣X) 和  P ^ ( Y ~ c ≠ Y ~ ∣ X ~ ) \\hat P (\\widetilde Y^c \\neq \\widetilde Y|\\widetilde X) P^(Yc=Y∣X) 是怎么计算的呢？文章的附录A给出了方法。

*  由3.2.2可知 Y ~ c \\widetilde\{Y\}^c Yc由两部分组成，分别是原始的弱标签 Y ~ w \\widetilde\{Y\}^w Yw 和 模型预测得到的标签 Y ~ p \\widetilde\{Y\}^p Yp
 *  所以作者对这两部分的预测值进行一个线性组合就得到了 P ^ ( Y ~ c = Y ~ ∣ X ~ ) \\hat P (\\widetilde Y^c = \\widetilde Y|\\widetilde X) P^(Yc=Y∣X) 的预测值。其计算公式如下：  
     P ^ ( Y ~ c = Y ~ ∣ X ~ ) = \# M a t c h e d   T o k e n s \# T o t a l   T o k e n s P ^ ( Y ~ w = Y ~ ∣ X ~ ) + ( 1 − \# M a t c h e d   T o k e n s \# T o t a l   T o k e n s ) P ^ ( Y ~ p = Y ~ ∣ X ~ ) \\hat P (\\widetilde Y^c = \\widetilde Y|\\widetilde X) = \\frac\{\\\#Matched\\ Tokens\}\{\\\#\{Total\\ Tokens\}\}\\hat\{P\}(\\widetilde\{Y\}^w=\\widetilde\{Y\}|\\widetilde\{X\}) + (1-\\frac\{\\\#Matched\\ Tokens\}\{\\\#\{Total\\ Tokens\}\})\\hat\{P\}(\\widetilde\{Y\}^p=\\widetilde\{Y\}|\\widetilde\{X\}) P^(Yc=Y∣X)=\#Total Tokens\#Matched TokensP^(Yw=Y∣X)\+(1−\#Total Tokens\#Matched Tokens)P^(Yp=Y∣X)  
    其中 T o t a l   T o k e n s Total\\ Tokens Total Tokens 是一条句子的长度，而 M a t c h e d   T o k e n s Matched\\ Tokens Matched Tokens是其中标签不为 O O O的长度。计算公式如此设计的原因源于`stage 2`部分的构造方法。计算方式是将  P ^ ( Y ~ c = Y ~ ∣ X ~ ) \\hat P (\\widetilde Y^c = \\widetilde Y|\\widetilde X) P^(Yc=Y∣X) 分成两部分来算，一个是原来得到的弱标签 Y ~ w \\widetilde Y^w Yw 和 预测得到的标签  Y ~ p \\widetilde Y^p Yp，它们分别有一个与`Token` 数相关的系数。这个系数和前面构建 y c y^c yc的方式有关：

接着论文里使用`historgram bin`的方式来估计 P ^ ( Y ~ c = Y ~ ∣ X ~ ) \\hat P (\\widetilde Y^c = \\widetilde Y|\\widetilde X) P^(Yc=Y∣X) 的值。这个估计的步骤如下：

*  step 1： 单独从样本集中分割出一个 `validation set`。根据这些样本和我们训练好的模型，通过 CRF以及`Viterbi decoding`，生成一个概率直方图；  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]
 *  step 2：将  Y ~ p \\widetilde Y^p Yp通过上述生成的概率直方图得到最后的估计的置信度，即`confidence estimation`操作。

# 5. 个人感受 #

基于强弱标签数据结合的方式，利用多阶段训练出一个更优的模型。每个不同的阶段利用不同类型的标签数据（斗胆猜测一下：这个模型可能是作者实习时做的一个工程项目，然后抽象化之后投出来的一篇文章，因为怎么看都觉得这篇文章的工程属性更强。）  
最后再总结一下本文值得借鉴的几个地方：

*  学习利用`historgram bin`进行置信度评测的方法。这种方法在模型校正上很有用处。
 *  立足实际问题，提出一个工程上有效的模型，再把该模型抽象化，就是一篇完美的paper啦，这样还怕中不了ACL吗？

[Link 1]: https://arxiv.org/pdf/2106.08977.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70]: /images/20221005/f2318e89356a4a92b101d5a6920dc718.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 1]: /images/20221005/91d4ad73a80340acbb75efb3b4cbde8e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xpdTE2NjU5_size_16_color_FFFFFF_t_70 2]: /images/20221005/a7e8d79715304e1d9f3512ed1d12fb21.png