条件随机场之浅出

妖狐艹你老母 2022-12-14 03:42 192阅读 0赞

# 1.随机场 #

当给每个位置中，按照某种分布随机赋予相空间(值空间)的值，其全体就叫做随机场。简单说就是给定一些候选值，然后随机的把这些候选值填入到每个位置。

# 2.概率图模型 #

概率图模型就是用图来表示变量概率的依赖关系，如下图所示我们看到概率图模型主要分为有向图模型和无向图模型。有向图模型如我们之前所介绍过的[贝叶斯网络][Link 1]和[隐马尔科夫模型][Link 2]；无向图网络如马尔科夫随机场、条件随机场等；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2JpbmcxOTkz_size_16_color_FFFFFF_t_70][]

# 3.马尔科夫随机场 #

马尔科夫随机场就是符合马尔科夫性质的随机场，如下图所示，是一种概率无向图模型。马尔科夫性质如下：

**局部马尔科夫性**：给定了某个变量的邻接变量，则该变量和所有其它的变量无关(独立)

**全局马尔科夫性**：将局部马尔科夫性由变量扩展到集合，给定某个变量集的邻接变量集，则该变量集和其它的变量其无关。

**成对马尔科夫性**：将局部马尔科夫性反推，所有其它变量都已给定的情况下，两个不相邻的变量无关。

符合上面性质中任意一条，我们称为马尔科夫随机场。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2JpbmcxOTkz_size_16_color_FFFFFF_t_70 1][]

# 4.条件随机场概述 #

条件随机场就是有条件的马尔科夫随机场，即给定X的条件下，Y的分布符合马尔科夫随机场性质。有点类似于隐马尔可夫模型，不同的是条件随机场是一种**判别式**的**概率无向图**模型。

**生成式**：使用联合概率分布进行建模，更关注的是变量和结果之间的关系，通俗的来说就是通过条件直接得到结果(可以理解为一道填空题)。常见的生成式模型有：隐马尔可夫模型、朴素贝叶斯模型、高斯混合模型GMM、LDA等；

**判别式**：使用条件概率建模，更关注结果之间的差异性，简单来说就是得到多个结果，然后选择概率最大的一个(可以理解为一道 选择题)。常见的判别式模型有：线性回归、决策树、支持向量机SVM、k近邻、神经网络等

使用条件随机场解决标注问题，一般更多考虑的是**线性链条件随机场**，即Y是线性分布的。其表达式为：P(Yi|X,Y1,Y2...Yn)=P(Yi|X,Yi−1,Yi+1)。对比HMM我们发现，因为HMM是有向图模型，所以其只需考虑上一个时刻(只有上一个时刻可以到达当前时刻)。而线性链条件随机场是无向图模型，所以前面和后面的相邻元素都会考虑(前后两条路径都可以到达当前位置)。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2JpbmcxOTkz_size_16_color_FFFFFF_t_70 2][]

# 5.条件随机场的参数化表示 #

为了求解，我们需要将条件随机场使用数学公式表达出来。

上面已经知道条件分布函数为：P(Yi|X,Y1,Y2...Yn)=P(Yi|X,Yi−1,Yi+1)

现在需要将P(Yi|X,Yi−1,Yi+1)表达出来，更进一步的我们需要将P(Y|X)表达出来。其表达式如下：

![20201013150935518.png][]

接下来对上面的公式进行简单的解释：

1.![t\_\{k\}(y\_\{i-1\},y\_\{i\},x,i)][t_k_y_i-1_y_i_x_i]和![s\_\{l\}(y\_\{i\},x,i)][s_l_y_i_x_i]称为特征函数。![t\_\{k\}(y\_\{i-1\},y\_\{i\},x,i)][t_k_y_i-1_y_i_x_i]为状态序列特征得分，表示![y\_\{i\}][y_i]受到![y\_\{i-1\}][y_i-1]的影响；![s\_\{l\}(y\_\{i\},x,i)][s_l_y_i_x_i]表示观测序列特征得分，表示![y\_\{i\}][y_i]受到![x\_\{i\}][x_i]的影响；特征函数的取值为1或者0，表示满足特征或者不满足特征。

2.λk和μl为权重，表示对应特征函数的重要程度或者正负方向

3.p(y|x)的分母Z(x)为所有可能的状态序列总的得分，分子为某一个序列的得分。都进行了exp指数化处理，用来拉开线性条件下高分与低分的距离。类似于逻辑回归进行多分类的softmax公式，最终得到的是某一个序列对应的概率。

# 6.构建条件随机场的特征函数 #

特征函数其实就是对序列进行打分的函数，用来表示不同序列的准确程度。上面的表达式是对特征函数的高度抽象，下面我们针对词性标注问题来具体构建我们的特征函数：

**词性标注**就是标出一个句子中每个词的词性，比如：袁冰妍是当今世界上最好看的人，对这句话进行词性标注会得到：袁冰妍(名词)是(连词)当今(副词)世界上(名词)最好看的(形容词)人(名词)。

上面的句子有6个词组成，正确的标注序列是：(名词、连词、副词、名词、形容词、名词)，但是不正确的标注序列会有很多个。如何判断序列的正确程度，这是就该特征函数出马了。

现在我们正式定义一下CRF的特征函数，它是这样一个函数，接受四个参数：

1.x表示句子信息

2.i表示词的下标

3.![y\_\{i\}][y_i]表示当前词的词性

4.![y\_\{i-1\}][y_i-1]表示相邻的前一个词的词性

特征函数并不像我们所熟悉的其它函数一样，是一个具体的公式。而是一种高度的抽象，接受句子和相邻词的标注信息，对当前词的标注结果进行打分。好处就是我们可以针对具体的任务定义不同的特征函数，灵活性更高。不好的就是还得自己去定义，有点麻烦。可以看到特征函数中已经有了当前序列的信息，这就是我们上面说的判别式。已经得到序列的基础上，使用特征函数进行筛选过滤。结果为1表示符合特征函数，为0表示不符合特征函数。

**特征函数的例子**：

下面针对词性标注问题举几个具体的特征函数的例子：

1.![f1(y\_\{i\},y\_\{i-1\},x,i)][f1_y_i_y_i-1_x_i],当![y\_\{i-1\}][y_i-1]为形容词时![y\_\{i\}][y_i]为名词，f1为1，否则f1为0；这是一个正确的判别式，所以其λ权重应该为正，并且权重较大。

2.![f1(y\_\{i\},y\_\{i-1\},x,i)][f1_y_i_y_i-1_x_i],当![y\_\{i-1\}][y_i-1]为形容词![y\_\{i\}][y_i]为形容词f1为1，否则f1为0；这是一个错误的判别式，所以其权重应该为负，表示相反的方向。

**简化表达损失**

我们将特征函数统一用f(y,x)表示，权重统一用w来表示。则最初的参数化表示就简化为下面这样：

![20201013163738667.png][]

# 7.CRF+BiLSTM #

下面聊一下具体的CRF应用，使用BiLSTM+CRF来进行命名实体识别(实体可以理解为名词的实例，比如袁冰妍是美女这个名词的一个实例，命名实体识别就是把这些实例属于哪些名词给找出来)；

下面简要解释一下流程：

1.BiLSTM可以得到每一个单词对应的实体的得分值；

2.使用CRF对BiLSTM得到的组合进行过滤，以确保实体组合的有效性。

3.CRF目标函数如下，即真实路径概率比所有可能路径的概率(就是我们上一节所说的表达式的具体化)。如果要枚举所有的可能路径计算量会非常的大，为了简化计算。我们使用动态规划算法(将大问题分解为多个子问题，使用历史子问题的结果来求下一个子问题，是一种以空间换时间的算法)来求解每一时刻的全部路径，然后求和(其实就是前面说过的前向算法)；然后我们可以使用梯度下降法进行优化。

![20201013172422484.png][]

4.当我们得到了模型之后，推理使用维特比算法(每一个时刻都取最大概率值，使用最后一时刻的最大概率进行回溯，过滤掉多余的路径，得到我们的最优序列，具体不在赘述！)

# 8.总结 #

本篇中我们介绍了条件随机场，类似于HMM,但是比HMM更加强大和灵活。是一种有条件的无向概率图模型，一种判别式模型。然后介绍了特征函数，这是其真正的强大之处。最后我们将条件随机场使用数学公式进行表达出来，然后将CRF和BiLSTM结合起来，作为神经网络中的一层，来进行命名实体识别。于HMM一样，在学习的时候我们使用前向算法，动态的求出下一位置的分值。在预测的时候使用维特比算法，得到最终的最优序列。

# 9.鬼灭之刀 #

我前生是一个给周武王赶车的车夫，面对仇敌的追杀，我毅然决然的选择了左边的弯道。再往前是一个下坡，我将马赶的飞快，回过头敌人就已经看不见了。文人雅士们都喜欢梅兰竹菊，高雅、淡泊、有气节。可是我只对韭菜情有独钟，因为韭菜包饺子好吃。它极其常见，还有点重口味，却让我得到了实实在在的快乐。对于生活中那些朴素却又不可缺少的事物，我总是没有什么抵抗力。作为一个男人，40多年的赶马生涯中，我唯一学会的就是，面对生活的苦难，咬着后槽牙说无所谓。我只是历史中一个寂寂无名的小人物，不会被任何人记住，即使活着的时候也没有什么人会在意我。为了使自己的意志不至于完全的消失，我曾在黑夜中将自己的秘密写进一个小盒子里。几千年来，我一直等待某一世能在梦中找到自己。昨天晚上盒子里的我终于又听到了人类微弱的呼吸声，我在等待，等待着被完全的唤醒。我要好好的看一看这21世纪，缤纷绚丽、美女如云。

燃爆全场！LiSA首唱《鬼灭之刃》最燃神曲《紅蓮華》完整版~【最高音画质收藏】【老织首次现场激情演唱动漫歌曲《紅蓮華》完整版】

[Link 1]: https://blog.csdn.net/gaobing1993/article/details/108826184
[Link 2]: https://blog.csdn.net/gaobing1993/article/details/108629751
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2JpbmcxOTkz_size_16_color_FFFFFF_t_70]: /images/20221123/d9cb9b00939c457396d44f226e6d8dd5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2JpbmcxOTkz_size_16_color_FFFFFF_t_70 1]: /images/20221123/09d1bf399009473ba06440a9d6265a0b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dhb2JpbmcxOTkz_size_16_color_FFFFFF_t_70 2]: /images/20221123/fdbc6446129149ac94eeccc3b28c90f0.png
[20201013150935518.png]: /images/20221123/0312006ed2e9490cb77d56744fe95ab3.png
[t_k_y_i-1_y_i_x_i]: https://private.codecogs.com/gif.latex?t_%7Bk%7D%28y_%7Bi-1%7D%2Cy_%7Bi%7D%2Cx%2Ci%29
[s_l_y_i_x_i]: https://private.codecogs.com/gif.latex?s_%7Bl%7D%28y_%7Bi%7D%2Cx%2Ci%29
[y_i]: https://private.codecogs.com/gif.latex?y_%7Bi%7D
[y_i-1]: https://private.codecogs.com/gif.latex?y_%7Bi-1%7D
[x_i]: https://private.codecogs.com/gif.latex?x_%7Bi%7D
[f1_y_i_y_i-1_x_i]: https://private.codecogs.com/gif.latex?f1%28y_%7Bi%7D%2Cy_%7Bi-1%7D%2Cx%2Ci%29
[20201013163738667.png]: /images/20221123/e9c3348efed24b6581e9232f684904dd.png
[20201013172422484.png]: /images/20221123/4c1ed3d59c3442968b075c93fd515b1e.png