从“三门问题”引出的条件概率、全概率和贝叶斯推导

谁借莪１个温暖的怀抱￠ 2022-04-23 03:36 389阅读 0赞

## 背景 ##

> 一共有三个门，门后分别放着两只羊和一辆车。选手并不知道哪个门后是什么，随机选择一扇门后，主持人打开剩下两个门中没有车的一扇门。此时，主持人提问：选手是否更换自己的选择？

如果你是选手，你换吗？为什么？

最近了解到著名的“三门问题”，也通过程序模拟了多次试验，结果也再次证实了条件概率的正确性。所以，我们是无法靠感性或者直觉判断问题的，还是应该多多充实知识库啦。

本节从条件概率、全概率，再到贝叶斯公式，最后回到“三门问题”上。

## 条件概率 ##

> P(A|B)=P(AB)/P(B)

现有事件A、事件B，如果事件B已发生，此时事件A发生的概率是多少？

即P(A|B)=?

用集合表示的话，更加直观。

1）计算P(A)或者P(B)时，是以Ω为样本空间的。  
![在这里插入图片描述][20190123160014120.png]

2）而计算P(A|B)时，意味着P(B)已发生。即样本空间已经从Ω变成了B。  
当事件B已发生时，事件A如果要发生，就只能是在A∩B的部分，即P(AB)。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwNjY5MzQ_size_16_color_FFFFFF_t_70]  
因此，P(A|B)=P(AB)/P(B)

**小试牛刀：**  
一对夫妻有两个小孩，已知其中一个是女孩，则另一个是女孩子的概率是多少？

假定B=两个小孩中有一个是女孩 A=两个小孩中有一个是女孩，因此，P(B)=P(A)=3/4 ，P(AB)=1/4，应用条件概率公式： P(A/B)=P(AB)/P(B)=1/3。

## 全概率公式 ##

全概率公式，将一个复杂的事件，转换为在不同情况下的简单事件概率的求解。

1、完备事件组

定义：

设S为试验E的样本空间，B1，B2，…，Bn为E的一组事件。若  
(i)Bi ∩ Bj=∅ （i≠j且i、j=1，2，…，n）；  
(ii)B1∪B2∪…∪Bn=S，  
则称B1，B2，…，Bn为样本空间S的一个完备事件组。

简单地说，可以理解成，一个完备事件组分割了样本空间S。

2、全概率公式推导

事件A的完备事件组B1,B2,B3……Bn，且概率不为0，因此，

P(A)=P(AB1)P(AB2)P(AB3)……P(ABn)  
=P(A|B1)P(B1)P(A|B2)P(B2)P(A|B3)P(B3)……P(A|Bn)P(Bn)  
=  
![在这里插入图片描述][20190128100710588.png]

## 贝叶斯定理 ##

贝叶斯定理描述了事件 A 在事件 B 发生的条件下的概率，与事件 B 在事件 A 发生的条件下概率的关系。

> 表达式：P(A|B)=P(A)P(B|A)/P(B)

1、表达式推导

由条件概率公式得：

P(A|B)=P(AB)/P(B)  
P(B|A)=P(AB)/P(A)

简化，得：  
P(A|B)P(B)=P(B|A)P(A)  
P(A|B)=P(A)P(B|A)/P(B)

得证。

对于![P(A|B)=P(A)P(B|A)P(B)][P_A_B_P_A_P_B_A_P_B]

> 先验概率：在B事件发生前，此事件的概率已知，即P(A)。  
> 后验概率：在B事件发生之后，我们对事件A发生概率的再次估计。

贝叶斯另一公式证明，需结合全概率公式：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwNjY5MzQ_size_16_color_FFFFFF_t_70 1]  
2、举个栗子

经典三门问题：  
一共有三个门，门后分别放着两只羊和一辆车。选手并不知道哪个门后是什么，随机选择一扇门后，主持人打开剩下两个门中没有车的一扇门。此时，主持人提问：选手是否更换自己的选择？

如果你是选手，你换吗？为什么？

1）在主持人不打开门时，选手抽中车的概率为1/3。

2）而在主持人打开门后，就涉及到条件概率的知识了。  
由于选手抽中车的概率为1/3，这个很简单。但主持人打开哪个门是不确定的，主持人需要选择不是车的那个门来打开。

因此，我们假定选手选择第一扇门，而主持人打开第三扇门。

即：  
A=选手选择第一扇门，第一扇门中是车  
B=选手选择第一扇门，第二扇门中是车  
C=选手选择第一扇门，第三扇门中是车  
D=主持人打开第三扇门

P(D|A)=1/2  
P(D|B)=1  
P(D|C)=0

P(A|D)=P(A)P(D|A)/P(D)=1/3  
P(B|D)=P(B)P(D|B)/P(D)=2/3

由此可见，当主持人打开第三扇门后，选手选择第一扇门且抽中车的概率仍为1/3，这与主持人是否打开第三扇门的概率相同。但第二扇门抽中车的概率就变成了2/3。

因此，对于选手来说，在主持人打开一扇门后，选手更换手中的选择抽中车的概率更大。

## 扩展 ##

此外，在机器学习中，还会接触“朴素贝叶斯”。

作为监督学习中基于概率论的分类算法，朴素贝叶斯是基于贝叶斯原理，其“朴素”一词是包含两种假设：一是数据特征之间是独立的，二是数据特征是同等重要的。只有在这两种假设成立的前提下，用贝叶斯公式去计算数据所属的类别概率才是比较合理的。

## 小结 ##

贝叶斯公式并不是新的东西，是基于条件概率、全概率公式的推论和变种罢了。重要的是明确事件的概率有先验概率和后验概率之分。

[20190123160014120.png]: /images/20220323/f58064227ae341739419c60e0bb12923.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwNjY5MzQ_size_16_color_FFFFFF_t_70]: /images/20220323/568f2a4217ea4e3ba664929be1e478e1.png
[20190128100710588.png]: /images/20220323/cd3a570698e948808d3f21274710ad0c.png
[P_A_B_P_A_P_B_A_P_B]: /images/20220323/f0275e1f045e40b39ed04572fddb3a61.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTAwNjY5MzQ_size_16_color_FFFFFF_t_70 1]: /images/20220323/1d8d6105a85b4b6792d04dff6a6047eb.png