贝叶斯定理相关的一些理解

我不是女神ヾ 2022-08-07 00:59 202阅读 0赞

近日在看阮一峰翻译的《黑客与画家》，书中的第8章介绍了以贝叶斯定理和推断为基础实现的一个垃圾邮件过滤器。文章对其实现过程介绍比较粗略，为此阮一峰后续还专门做了深入的研究，分别发表了两篇博文进行更深入的阐述，可见： [贝叶斯推断及其互联网应用(一):定理简介][Link 1]和 [贝叶斯推断及其互联网应用(二):过滤垃圾邮件][Link 2]。理解这些文章的过程中，也顺便回顾了贝叶斯定理相关的内容。以下为个人认为的理解中需要注重的几个知识点：

**1. 条件概率和联合概率**

抛出这个问题，一是因为它们是贝叶斯定理的基础，而是因为我突然有一天觉得它们两个好像是一回事，直到做了仔细的甄别之后......

条件概率就是事件A在另外一个事件B已经发生条件下的发生概率，表示为P(A|B)，读作“在B条件下A的概率”。联合概率表示两个事件共同发生的概率，表示为P(AB)。两者关系可表现为公式：P(A|B)=P(AB)/P(B)

打个比方：假设一个班男生占40人，女生占60人，身高在一米七以上有30人，其中男生20人，女生10人。定义事件A：学生身高一米七以上，事件B：学生为男生。  
联合概率：现在班上任选一人是男生并且身高在一米七以上的概率有多大？这就是联合概率，很明显P(AB)=20/100=0.2。

条件概率：如果已知抽到的是男生，那么他身高在一米七以上的概率有多大？这就是条件概率，很明显P(B)=40/100=0.4，则利用公式P(A|B)=P(AB)/P(B)可得P(A|B)=(20/100)/(40/100)=0.5。其实更简单的算法是20/40，从这个简单算法可以看到：条件的出现缩小了样本空间。

**2. 贝叶斯定理和贝叶斯推断**

贝叶斯定理可表示为：P(A|B)=P(B|A)P(A)/P(B)，或者

![Center][]

后者是全概率的表示方式。这里P(A)通常被称为**先验概率**，P(A|B)通常被称为**后验概率**。

贝叶斯推断是贝叶斯定理的变形，公式表示为：P(A|B)=P(A)P(B|A)/P(B)。这种表示是为了将P(B|A)/P(B)作为一个整体，称为“调整因子”，即P(A|B)=P(A)\*调整因子。这样可以更直观的反映贝叶斯推断的含义：先预估一个"先验概率"，然后加入实验结果，看这个实验到底是增强还是削弱了"先验概率"，由此得到更接近事实的"后验概率"。如果调整因子>1，意味着"先验概率"被增强，事件A的发生的可能性变大；如果调整因子=1，意味着B事件无助于判断事件A的可能性；如果调整因子<1，意味着"先验概率"被削弱，事件A的可能性变小。

关于贝叶斯定理和推断的详细说明，大家可以参考[阮一峰的第一篇博文][Link 1]。

**3. 联合概率推导过程**

抛出这个问题，一是因为书中的第8章提到的第二个公式。初看这个公式时，我就产生了疑问：这个公式怎么得出的？二是因为阮一峰虽然在[第二篇博文中][Link 2]介绍了公式的推导过程，但是读者（包括我）争议较大。直到发现了[一篇文章][Link 3]，突然对这个公式豁然开朗了。下面将这篇文章中的公式的推导过程截图出来：

![Center 1][]

**4. 关于过滤器的最后一点说明**

这个过滤器的实现中，有一些贝叶斯定理之外的经验值，例如：书中的第8章提到的第一个公式中的0.01、0.99等，个人觉得：这些经验值的选取，比利用贝叶斯定理要难多了......

阮一峰的[第二篇博文中][Link 2]提到“这种过滤器还具有自我学习的功能”，而且书中也在129页提到“过滤器的过滤能力可以随垃圾邮件一起进化”。个人认为学习或进化功能是过滤器工具的功能，而不是贝叶斯定理和推断本身的功能，或者更通俗的说，过滤器虽然基于贝叶斯定理和推断开发，但是定理和推断的实现并不能完全代表整个过滤器。一个可以想到的方法就是：过滤器工具每隔一段时间后，基于已有的垃圾邮件和正常邮件重新训练过滤器，这样也就体现出了学习能力。

[Link 1]: http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_one.html
[Link 2]: http://www.ruanyifeng.com/blog/2011/08/bayesian_inference_part_two.html
[Center]: /images/20220805/09b2af70dcfe4bce80c3a1deb1117e5a.png
[Link 3]: http://blog.csdn.net/hexinuaa/article/details/5596862
[Center 1]: /images/20220805/b4b253da33d14e3daa98c6b6a962c295.png