CRF

古城微笑少年丶 2022-03-02 02:18 229阅读 0赞

随机场：由若干个子集组成的一个整体，而每个子集都按照某个分布随机赋予一个值，这个场就叫随机场。

马尔科夫随机场：随机场中某![^\{h\_\{1\}\}][h_1]一位置的赋值仅与其相邻位置的赋值有关，和与其不相邻位置的赋值无关。

CRF是马尔科夫随机场的特例，它假设马尔科夫随机场中只有X和Y两种变量，X一般是给定的，而Y一般是在给定X的条件下的输出。

## BiLSTM-CRF在NER上的实践总结 ##

使用基于字的BILSTM-CRF，可以用如Bakeoff-3评测采用的BIO表注集

常用的网络结构是双向LSTM后接一个softmax层，输出各个label的概率，然后再接一个CRF层。

*  句子中的每一个单元都代表着字或词嵌入构成的向量，在输入模型训练之前，设置Dropout缓解过拟合
 *  字或词向量作为BILSTM-CRF模型的输入，双向LSTM层用来自动提取句子特征。
 *  双向LSTM接受句子的每个字的embedding序列作为输入，将正向LSTM的隐层输出![^\{h\_\{1\}\}][h_1]和反向LSTM输出的隐层输出![^\{h\_\{2\}\}][h_2]进行拼接![^\{h\_\{t\}\}][h_t]=\[![^\{h\_\{1\}\}][h_1];![^\{h\_\{2\}\}][h_2]\]，得到完整的隐状态序列；在经过设置的Dropout后，再介入一个线性层，将隐状态映射为k维(k是标签集的标签数)。线性层的输出![R\{^\{n\*k\}\}][R_n_k]为提取的句子特征，可以理解为将字![^\{x\_\{i\}\}][x_i]分类到第j个标签的打分值。
 *  如果在线性层后接一层softmax层，就变成了对各个字进行k分类了。但是这样没有考虑连续字标注的合理性(无法利用前面标注过的信息)，所以需要CRF层来进行标注。
 *  CRF层用来进行句子级的序列标注。CRF层的参数是一个(k+2) \*(k+2)的矩阵A，Aij表示的是从第i个标签到第j个标签的转移得分，所以在一个位置进行标注的时候就可以利用前面标注过的标签。加2 是因为要为句子首部添加一个起始状态以及为句子尾部添加一个终止状态。如果一个长度等于句子长度的标签序列y=(y1,y2,y2,.......yn),模型对于句子x的标签打分等于y的打分公式:![gif.latex][]![score\\left ( x, \\right y)= \\m\\sum\_\{i=1\}^\{n\} P\_\{i,yi\}\\dotplus \\sum\_\{i=1\}^\{n+1\}A\_\{yi-1,yi\}][score_left _ x_ _right y_ _m_sum_i_1_n_ P_i_yi_dotplus _sum_i_1_n_1_A_yi-1_yi]![gif.latex][]
 *  可以看出整个序列的打分等于各位置的打分之和，而且每个位置的打分由两部分得到：LSTM输出的![^\{P\_\{i\}\}][P_i]以及CRF的转移矩阵A决定。

softmax层的输出是相互独立的，虽然BiLSTM学习到了上下文的信息，但是输出信息互不影响，没有CRF的话只是在每一步挑选一个最大概率的label输出。这样会有问题：虽然每次的输出都是最大概率的label，但我们并不能保证每次预测都是正确的。**而CRF中有转移特征，它会考虑输出label的顺序性。或者更准确的说，CRF层可以为最后预测的标签添加一些约束来保证预测的标签是合法的。在训练的过程中，这些约束可以通过CRF层自动学习到。**

**公式化表示条件随机场**

**在给定的观测序列X时，某个待定标记序列Y的概率可以定义为：**

**![2019041518143847.png][]**

![^\{t\_\{j\}\}][t_j]![gif.latex][](![^\{y\_\{i-1\}\}][y_i-1],![^\{y\_\{i\}\}][y_i],x,i)是转移概率，![S\_\{k\}][S_k](![^\{y\_\{i\}\}][y_i],x,i)是状态概率，表示观测序列在位置i的标记概率

**[算法理论参考][Link 1]**

CRF中的约束就是CRF的特征函数。特征函数接收四个参数：

*  句子(标注词性的句子)
 *  句子s中的第i个单词
 *  序列标注给第i个单词标注的词性
 *  序列标注给第i-1个单词标注的词性

特征函数的输出是0或1，0表示评分不符合这个特征，1表示要评分的标注序列符合这个特征

为了构建一个条件随机场，首先要定义一个特征函数集。每个特征函数都以整个句子s，当前位置i，位置i-1的标签作为输入，然后为每一个特征函数赋予一个权重，然后针对每一个标注序列，对这些特征函数加权求和。

[h_1]: https://private.codecogs.com/gif.latex?%5E%7Bh_%7B1%7D%7D
[h_2]: https://private.codecogs.com/gif.latex?%5E%7Bh_%7B2%7D%7D
[h_t]: https://private.codecogs.com/gif.latex?%5E%7Bh_%7Bt%7D%7D
[R_n_k]: https://private.codecogs.com/gif.latex?R%7B%5E%7Bn*k%7D%7D
[x_i]: https://private.codecogs.com/gif.latex?%5E%7Bx_%7Bi%7D%7D
[gif.latex]: https://private.codecogs.com/gif.latex?
[score_left _ x_ _right y_ _m_sum_i_1_n_ P_i_yi_dotplus _sum_i_1_n_1_A_yi-1_yi]: https://private.codecogs.com/gif.latex?%5Cfn_jvn%20score%5Cleft%20%28%20x%2C%20%5Cright%20y%29%3D%20%5Cm%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%20P_%7Bi%2Cyi%7D%5Cdotplus%20%5Csum_%7Bi%3D1%7D%5E%7Bn&plus;1%7DA_%7Byi-1%2Cyi%7D
[P_i]: https://private.codecogs.com/gif.latex?%5Cfn_jvn%20%5E%7BP_%7Bi%7D%7D
[2019041518143847.png]: /images/20220302/fe7d949e106e4db5a140b0a7a359116d.png
[t_j]: https://private.codecogs.com/gif.latex?%5E%7Bt_%7Bj%7D%7D
[y_i-1]: https://private.codecogs.com/gif.latex?%5E%7By_%7Bi-1%7D%7D
[y_i]: https://private.codecogs.com/gif.latex?%5E%7By_%7Bi%7D%7D
[S_k]: https://private.codecogs.com/gif.latex?S_%7Bk%7D
[Link 1]: https://www.cnblogs.com/Determined22/p/7238342.html