手推隐马尔科夫模型HMM(Hidden Markov Model)01-背景介绍

野性酷女 2022-11-30 04:12 172阅读 0赞

**目录**

1.写在前面

2.概率图模型

3.HMM模型

3.1 HMM模型的5元组

3.2 HMM模型中的两个假设

3.3 HMM模型中的三个问题

--------------------

# 1.写在前面 #

这篇文章带大家看一个比较有意思的模型-HMM，扩展起来就是Hidden Markov Model。HMM模型在深度学习流行之前，一直活跃在NLP领域，对该领域发展起到了非常大的作用，HMM可以处理自然语言处理和语音识别等领域。我们会在写HMM模型的过程中，将其所涉及到的知识全部串联起来。

当然了，在讲解具体算法之前，我们需要对背景知识做一个小小的扩充。**机器学习分为频率派和贝叶斯派**，**频率派后期逐渐发展成为了统计机器学习，其核心问题就是优化问题（定义loss fuction）**，我们处理这类问题一般包含三个步骤：**1)确定model；2）确定策略：loss fuction; 3）算法求解最优化问题：梯度下降、随机梯度下降、牛顿法等**；推荐李航老师统计学习方法，很多章节都是在讲函数优化的问题。**贝叶斯派逐渐发展出来一个体系是概率图模型，主要是涉及到推断，求后验概率，进而引申为一个积分问题，我们可以采用数值积分的方法MCMC**。

# 2.概率图模型 #

**HMM本质上属于概率图模型**，概率图模型根据有向和无向可以分为贝叶斯网络和马尔科夫随机场（也可以叫马尔科夫网络）。对于概率图模型加上时间序列的话，叫做动态模型。动态模型中，样本与样本之间不是独立同分布的关系，而且往往又是混合的。横向是时间序列，纵向混合高斯。

![20200823113152291.png][]

动态模型我们一般表示下面图中形状，分为两个部分，上面圆圈表示系统状态，也叫隐变量（隐含状态），下面长方形表示观测变量（可见状态）。根据系统状态之间的关系，如果state是离散的，我们称为HMM；如果state是连续的，可以分为线性模型（代表是kalman filter）和非线性模型（particle filter）。也就是说在HMM中系统状态（隐变量）是服从离散分布的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

# 3.HMM模型 #

隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。HMM模型大概长像如下，偷的52NLP的图，这个模型包含了一个**底层隐藏的随时间改变的马尔科夫过程**，通常是一阶的，对应下图就是天气之间的状态转移概率关系。以及一个与隐藏状态某种程度相关的可观察到的状态集合，对应就是天气如何影响苔藓，即我们的术语叫做**发射概率或者混淆概率**。

![这里写图片描述][SouthEast]

## 3.1 HMM模型的5元组 ##

每个模型都有自己相关的概念，弄清算法之前我们先来看看这个模型的基本概念，5元组（S,K,π,A,B）：以上分别对应了HMM中的5个重要概念，其中（π,A,B）是HMM的三要素。

*          S：隐藏状态的集合（Sun Cloud Rain），N为隐状态个数 N=3
 *          K : 输出状态或者说观测状态的集合（Soggy Damp Dryish Dry），M为观测状态个数M=4
 *          π : 对应隐藏状态的初始化概率 （sun : 0.5 cloud : 0.3 rain : 0.2）
 *          **A : 隐藏状态的状态转移概率，是一个N\******N的概率矩阵***
 *          ***B : 隐藏状态到观测状态的混淆矩阵，是一个N\**M的发射概率矩阵**

另外符号体系中会有对于每个序列的状态序列和观测序列，如一周的观测和状态，定义下：**O : 某特定观测序列，I表示状态变量（下表格用的X）。**

![20200823132030710.png][]

![这里写图片描述][SouthEast 1]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

## 3.2 HMM模型中的两个假设 ##

HMM是有两个基本假设的，**一个是齐次马尔科夫性假设，另一个是观测独立性假设**。

![20200823134945259.png][]

齐次马尔科夫性假设指的是，假设隐马尔可夫链在**任意时刻t的状态**只依赖前一个时刻的状态，与其他状态和观测变量是没有任何关系的。观测独立性假设指的是，在**任意时刻的观测**只依赖于该时刻的状态，与其他时刻的状态和观测没有任何关系。只有在这两个条件下，我们才能真正的去求解。

## 3.3 HMM模型中的三个问题 ##

HMM模型主要是用来解决三类问题：**Evaluation问题、Learning问题、Decoding问题**。其中Decoding问题是重点关系的地方。

*          **Evaluation评估问题**：已知模型参数 λ= (A, B, π)，计算某个观测序列发生的概率，即求P(O|λ)，即**概率计算问题，**常用算法是**前向后向算法**；
 *          **Learning学习问题**：如何调整模型参数 λ=(π, A, B)，使得P(O|λ)最大？  常用算法：**EM算法；**
 *          **Decoding解码问题**：给出观测序列O和模型μ，怎样选择一个隐藏状态序列S(s1,s2,...st+1)，能最好的解释观测序列O，可以细化分为**预测问题和滤波问题**；常用算法：**维特比算法**；

[20200823113152291.png]: /images/20221124/abc66223ed284b43974051f3c72d686e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221124/903441edffa6478b9f21b8663a6a9c09.png
[SouthEast]: /images/20221124/2eb3e4890a40442993c00ebfa903d7fb.png
[20200823132030710.png]: /images/20221124/9c5ee2e412ce44b688971e278dea2479.png
[SouthEast 1]: /images/20221124/c1acae97860c4a7f991d97e8b3179209.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: /images/20221124/9ebb95c2f3da4cf9b370b4e3c42083ca.png
[20200823134945259.png]: /images/20221124/86d652492b1d436d8b6a772fd3f48a60.png