数据挖掘之朴素贝叶斯定理

逃离我推掉我的手 2021-09-15 13:08 405阅读 0赞

> 做下记录总结：朴素贝叶斯，可能大家都忘了，但是稍微提一下，给个公司，或许你还会知道怎么求解。

--------------------

#### 朴素贝叶斯公式： ####

![image.png][]

首先这个公式为什么叫朴素贝叶斯呢？他是英国数学家托马斯·贝叶斯（Thomas Bayes）在1763年发表的一篇论文中首次提出的这个定理。

![image.png][image.png 1]

首先我们了解下”条件概率”： 在事件B发生的情况下，事件A发生的概率，用P（A|B）表示

对条件概率进行变形：

“先验概率”：p（A），即在B事件发生之前，对A事件概率的一个判断  
“后验概率”：p（A|B），即在B事件发生之后，对A事件概率的重新评估  
“可能性函数”：P(B|A)/P(B)，一个调整因子，使得预估概率更接近真实概率

所以：

![image.png][image.png 2]

举例：

两个一模一样的碗，一号碗有30颗水果糖和10颗巧克力糖，二号碗有水果糖和巧克力糖各20颗。现在随机选择一个碗，从中摸出一颗糖，发现是水果糖。请问这颗水果糖来自一号碗的概率有多大？

![image.png][image.png 3]

我们假定，**H1表示一号碗**，**H2表示二号碗**。由于这两个碗是一样的，所以P(H1)=P(H2)，也就是说，在取出水果糖之前，这两个碗被选中的概率相同。因此，**P(H1)=0.5**，我们把这个概率就叫做”先验概率”，即没有做实验之前，来自一号碗的概率是0.5

P（H1）=0.5  
P（E|H1）=0.75

贝叶斯：P（H1|E）= P(E|H1)\*P(H1) / P(E)  
得出 P = 0.6

这个结果表明，来自一号碗的概率是0.6 也说明了下，取出水果糖之后，H1事件的可能性得到增强了

#### 朴素贝叶斯定理的应用 ####

对于下面的数据集，求x=(2,s)的类的标记

![image.png][image.png 4]

对于这个问题，也就是求解：  
p( y= 1 | X = (2,s) )  
p( y=-1 | X = (2,s) )  
哪个概率值更大，就取哪一个。

两个公式展开，如下：

![image.png][image.png 5]

分母相同，比较分子大小  
![image.png][image.png 6]

求解过程：  
![image.png][image.png 7]

参考：  
李航 《统计学习方法》  
阮一峰的[http://www.ruanyifeng.com/blog/2011/08/bayesian\_inference\_part\_one.html][http_www.ruanyifeng.com_blog_2011_08_bayesian_inference_part_one.html]

更多博客文章请访问主页：

[https://blog.csdn.net/xudailong\_blog][https_blog.csdn.net_xudailong_blog]

[image.png]: /images/20210529/4188021e2dde40afbdbc0e0aaf95a8a6.png
[image.png 1]: /images/20210529/5ec30e689fdd4b61b25df25047e4916b.png
[image.png 2]: /images/20210529/c22c9eaf0a22408cb7017254e9490e5a.png
[image.png 3]: /images/20210529/9b8ccd3603b5440887313170dfa4edb0.png
[image.png 4]: /images/20210529/8dd211675728471bb15e53f3f2430d5a.png
[image.png 5]: /images/20210529/9a28c7d88fb243e3a17cbb228d192324.png
[image.png 6]: /images/20210529/97f06a0745014a6ca37c857e89eae4ec.png
[image.png 7]: /images/20210529/40ae6b689ed040c089a05d2f97afbf1e.png
[http_www.ruanyifeng.com_blog_2011_08_bayesian_inference_part_one.html]: https://link.jianshu.com/?t=http%3A%2F%2Fwww.ruanyifeng.com%2Fblog%2F2011%2F08%2Fbayesian_inference_part_one.html
[https_blog.csdn.net_xudailong_blog]: https://blog.csdn.net/xudailong_blog