机器学习中用到的概率知识_机器学习必备的概率图与随机过程

怼烎@ 2023-01-04 13:11 147阅读 0赞

在机器学习算法的修炼道路中，概率图模型和随机过程对很多同学而言是一个巨大的拦路虎。很多同学会有这样一种感觉：这里面所涉及的模型概念可是真多啊！三两下就给整蒙了：

**概率模型**、**图模型**还没整明白，又来了个**概率图模型**；

**高斯分布**、**混合模型**还没弄热乎，又遭遇了**高斯混合模型**和**高斯过程**；

**变量分布**、**随机过程**本来就挺难了，你还要我利用随机过程去对一个分布进行**近似采样**?

**马尔科夫链**已经把我给绕住了，咋又弄出来了个**隐马尔可夫模型**;

**随机变量**、**随机过程**就够烦了，怎么又跳出来了个**随机场**；

**概率图**里，一会儿**有向**，一会儿又**无向**，哎到底是要哪样？

大量的模型、交织的知识、复杂的概念、艰深的用法，面对纷繁复杂的前路，你还有勇气迈向远方机器学习的热土吗？

你说你想绕过这些难题？那恐怕不行，机器学习中的核心思想和大量核心应用都是构建在这些知识的基础上的：

*  面对一个统计样本，你想估计出你感兴趣的参数，极大似然估计以及有偏性无偏性你能不掌握？如果不巧碰上包含隐变量的场景，EM迭代的思想你可是躲都躲不开；
 *  想进行语音识别？隐马尔可夫模型你不可不会；想对一句话进行词性标注？条件随机场你敢不懂？
 *  在进行贝叶斯推断的时候，如果对马尔科夫链蒙特卡洛方法等近似推断一无所知，可能一个复杂的概率分布就让你举步维艰；
 *  对时间序列进行预测，或许卡尔曼滤波、粒子滤波对你来说是一个好的选择；
 *  更不用说像是做一些样本分类、聚类这些常规操作了，逻辑回归、高斯判别、高斯混合等各种模型都应该如数家珍；

这么难，又这么重要，那就横下心来咬咬牙，往前冲吧。当你满怀希望的打开那些经典的大部头，比如《花书》、比如号称圣经的《PRML》、比如某水果书、又比如随机过程的高校教材，五分钟就能让你完成从开始到放弃，为什么？最直接的感觉就是：**公式太复杂，看不懂；内容太艰深，记不住**。

**又难学、又不得不学、又没地儿好好学**，怎么办！！

别急，作为《机器学习中的数学》系列专栏的提高篇------**《机器学习中的数学：概率图与随机过程》**就适时的出现了。

**gitchat平台上的课程专栏链接：**

机器学习中的数学：概率图与随机过程\_专栏gitbook.cn

![c1f0fb3dab079ba2a15377d4f00e50af.png][]

本专栏重点剖析人工智能算法应用中的核心概率图模型与随机过程思想方法，力图弥合概率统计基本概念与人工智能应用之间的巨大鸿沟，使读者通过专栏的学习能够理清典型算法应用背后所蕴藏的核心模型与重要统计思想。最重要的是，每一步都能让大家看的下去、看的明白。

### 专栏的亮点和特色 ###

面对如此艰深复杂的内容，本专栏又是哪来的信心把这些个知识给大家讲通、讲懂、讲到位呢？这里我想有必要来介绍一些他的亮点和特色：

**第一：逻辑主线清晰**，沿着“单点-多点-线-面”这条概率模型的进化主线不断推进：

**第二：公式推导无死角**，既然绕不开公式，那么我们让每一步推导的来龙去脉都讲明说透不跳步，不搞囫囵吞枣、蒙混过关；

**第三：注重案例和代码演示**，用实践实验支撑理论的深入理解，二者结合、相得益彰；

### 课程的设计思路 ###

沿着课程主线的四大环节，我们层层递进，逐步掌握支撑机器学习算法应用的概率图模型与随机过程核心知识。

**第01部分：模型中的单点------入手高斯分布：勾画概率模型核心概念**：从最基础的单中心高斯分布入手展开，通过一维及多维高斯分布的形态、性质、由来及应用串联起随机变量、分布特征、参数估计、极大似然等核心概念，并分门别类的梳理典型的判别模型和生成模型。

**第02部分：模型中的多点------混合模型与隐变量：EM的迭代探索**：接着进入到概率模型中的“多点”，即以多中心高斯混合模型为例，由复杂模型中的隐变量所带来的参数估计困境，牵引出EM算法以及迭代探索的重要思想；

**第03部分：模型中的线------剖析随机过程：一组变量观测**：然后由点到线，介绍随机过程—即一组随机变量的呈现形式，主要介绍马尔科夫过程和高斯过程，并基于马尔科夫链的性质重点介绍统计推断中的随机近似方法；

**第04部分：模型中的面------详解概率图模型：解构复杂概率关系**：最后进入到概率模型中的面：反映随机变量复杂关联关系的概率图模型，深刻剖析概率图模型背后的概率原理，重点介绍四类典型概率图模型以及推断、学习与滤波等问题；

### 专栏大纲 ###

最后，朋友们可以快速的浏览一下专栏大纲，了解一下专栏的主干内容：

![299e8fce44fb063b6034a18d28a23660.png][]

我希望我们能一起形成一种思维习惯：**源于理论，我们条分缕析；面向实践，我们学以致用。** 有了扎实的数学理论和方法基础，相信同学们都能登高望远、一往无前。

## **gitchat平台上的课程专栏链接：** ##

机器学习中的数学：概率图与随机过程\_专栏gitbook.cn

![c1f0fb3dab079ba2a15377d4f00e50af.png][]

**有问题可咨询微信：zhangyumeng0422**

[c1f0fb3dab079ba2a15377d4f00e50af.png]: /images/20221119/3c856735e8bc488dba23307cfeff9320.png
[299e8fce44fb063b6034a18d28a23660.png]: /images/20221119/f5c8e53cea074e54b884cae52aeb6881.png