从HMM到CRF

桃扇骨 2022-03-15 16:40 204阅读 0赞

##### HMM: #####

假如我们有一个翻译系统：  
![在这里插入图片描述][20190303002606585.png]  
y = (y1, y2, … yt) 表示用户说的单词  
x = (x1, x2, … xt) 表示语音的信号  
那么我们要求的P(x, y) = P(y1) \* P(y2|y1) \* P(y3|y2) \* … \* P(yt|yt-1) \* P(x1|y1) \* P(x2|y2) \* … \* P(xt|yt)  
即![在这里插入图片描述][20190303212914320.png]  
可是在实际的使用场景中，通常每个tag都不仅受当前输入的影响，也会受其他输入的影响，所以我们可以在此引申出MEMM

##### MEMM #####

MEMM的模型可以如下图表示：

![在这里插入图片描述][20190303214015779.png]  
同理可推出以下公式：  
![在这里插入图片描述][20190303214634540.png]  
但是该模型会出现[Label Bias Problem][]问题，为了解决该问题，在此引申出CRF

##### CRF #####

CRF的模型大概如下，在MEMM的基础上，去掉了y与y之间的方向  
![在这里插入图片描述][20190303223241489.png]  
推导可得  
![在这里插入图片描述][20190303223825470.png]  
这里我是直接网上找的截图，  
![在这里插入图片描述][20190303223940575.png]指的是x\_1:n

[20190303002606585.png]: /images/20220315/93f1e11ff7da489ea8e05a084540fdb0.png
[20190303212914320.png]: /images/20220315/d8e5e1f509704ec18fb369f67d1a714a.png
[20190303214015779.png]: /images/20220315/b1780b413e5d4385aaa7b049c3ecf622.png
[20190303214634540.png]: /images/20220315/2df230e1ba3a4f6097623403345286f6.png
[Label Bias Problem]: https://blog.csdn.net/lt326030434/article/details/88095363
[20190303223241489.png]: /images/20220315/c81248add291438f98cbca63476f519d.png
[20190303223825470.png]: /images/20220315/f8510003b8ef403093e717e25f3c9160.png
[20190303223940575.png]: /images/20220315/f2322be388cc49cb906a69a9adcd1e98.png

发表评论取消回复

表情：

评论列表（有 0 条评论，204人围观）

还没有评论，来说两句吧...

相关阅读

相关 HMM模型

HMM(隐马尔可夫模型)是一种时序模型，它用于描述一个系统在不同时间的状态之间的转移以及观察到的观测值之间的关系。HMM模型中有两个隐藏的序列，一个是状态序列，另一个是观测序列

偏执的太偏执、/ 2024年03月26日 08:35/ 0 赞/ 48 阅读

相关 HMM、MEMM、CRF区别

隐马尔可夫模型（Hidden Markov Model，HMM），最大熵马尔可夫模型（Maximum Entropy Markov Model，MEMM）以及条件随机场（Con

迷南。/ 2023年10月05日 10:50/ 0 赞/ 3 阅读

相关 ora.crf

Cluster Health Monitor （集群健康监测）：自动收集操作系统（CPU、内存、SWAP、进程、I/O以及网络等）的使用情况。禁用ora.crf

àì夳堔傛蜴生んèń/ 2022年09月13日 14:19/ 0 赞/ 121 阅读

相关 HMM学习笔记_2(从一个实例中学习HMM前向算法)

[HMM学习笔记\_2(从一个实例中学习HMM前向算法)][HMM_2_HMM] HMM算法想必大家已经听说了好多次了，完全看公式一头雾水。但是HMM的基本理论

你的名字/ 2022年05月21日 09:23/ 0 赞/ 172 阅读

相关从决策树学习谈到贝叶斯分类算法、EM、HMM

> > 原文链接[http://blog.csdn.net/v\_july\_v/article/details/7577684][http_blog.csdn.net_v_

末蓝、/ 2022年04月10日 01:57/ 0 赞/ 141 阅读

相关标注偏置问题(Label Bias Problem)和HMM、MEMM、CRF模型比较

本文转载自[https://blog.csdn.net/zhoubl668/article/details/7787690][https_blog.csdn.net_zhoub

本是古典何须时尚/ 2022年03月15日 16:42/ 0 赞/ 424 阅读

相关从HMM到CRF

HMM: 假如我们有一个翻译系统： ![在这里插入图片描述][20190303002606585.png] y = (y1, y2, … yt) 表示用户说的单词

桃扇骨/ 2022年03月15日 16:40/ 0 赞/ 205 阅读

相关 CRF

随机场：由若干个子集组成的一个整体，而每个子集都按照某个分布随机赋予一个值，这个场就叫随机场。马尔科夫随机场：随机场中某![^\{h\_\{1\}\}][h_1]一位置的赋

古城微笑少年丶/ 2022年03月02日 02:18/ 0 赞/ 230 阅读

相关 CRF原理和CRF++ 安装与使用

概述普通的分类问题是把 (x,y) 看做一个样本，序列分类问题是把(x1,…,xt, y1,…,yt) 整体看做一个样本。比如以前用 svm，输入x输出y是标量，表示

客官°小女子只卖身不卖艺/ 2022年01月31日 05:55/ 0 赞/ 511 阅读

相关基于HMM和CRF的命名实体识别

基于HMM和CRF的命名实体识别 > 前段时间，上了机器学习课程，然后老师布置了个大作业，使用具体的模型应用到具体的任务 > > 我写了一个基于HMM和CRF的命名实体

今天药忘吃喽~/ 2021年12月01日 13:50/ 0 赞/ 444 阅读