EM算法主观理解

桃扇骨 2022-08-25 10:58 120阅读 0赞

**一句话： EM算法的精华在于 EM——期望最大化，把一个不好MLE的问题用迭代方法解决掉，思路清晰，计算简单。**

**首先，明确我们的目标是什么：那就是要求解一个最大似然估计问题。**

所谓的最大似然估计问题就是——给定一组数据和一个参数待定的模型，如何确定模型的参数，使得这个确定参数后的模型在所有模型中产生已知数据的概率最大。

> 如果你还是对最大似然估计不了解，那么你可以参看如下的资料：
> 
> [最大似然估计，也称为最大概似估计，是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。][Link 1]（维基百科）

好了，现在咱们继续下面的问题：假如我们要求解的最大似然估计问题中存在着未知的隐含变量，那么我们又该如何求解这个最大似然估计问题呢？？

而这也就是应用到EM算法的时候了。

——EM算法是一种解决隐含变量优化问题的有效方法！

比如：给定训练样本\{x1 - xm\}，想找到每个样例隐含类别z，能使p(x,z)最大，p(x,z)的最大似然估计如下：

![SouthEast][]

在原本的最大似然估计当中，我们是通过求偏导来求解theta的。但是，现在我们多了一个未知量z，那么就无法通过求偏导的方法得到theta的最优值。

那么对这个问题我们该怎么办呢？？

一个办法：通过EM算法解决！这也就体现出EM算法的高超技艺

——因为无法求解得出L(theta)的最优（大）值，那么就通过不断地构造下界，然后再通过优化下界的方法来逐步逼近下界极大值，简单的说就是：当不能得到一个函数的最大值时，我们就可以通过不断地构建这个函数的下界，来一步步迭代地逼近最大值。

关于EM算法的数学推导，详见文献\[1\]。

参考文献：

\[1\][ JerryLead （EM算法）The EM Algorithm ][JerryLead _EM_The EM Algorithm] 首席推荐tutorial（非正规版）

\[2\] [ Stanford ML 第12课K-Means中段到第13课首段][Stanford ML _12_K-Means_13] 和\[1\]的内容一样，不过有一些细微的讲解（学生提问）可以解惑

[Link 1]: http://zh.wikipedia.org/wiki/%E6%9C%80%E5%A4%A7%E4%BC%BC%E7%84%B6%E4%BC%B0%E8%AE%A1
[SouthEast]: /images/20220824/a57f9edc36944450bc3417fb7c43b13d.png
[JerryLead _EM_The EM Algorithm]: http://www.cnblogs.com/jerrylead/archive/2011/04/06/2006936.html
[Stanford ML _12_K-Means_13]: http://v.163.com/movie/2008/1/O/T/M6SGF6VB4_M6SGKGMOT.html