贝叶斯分类器

我会带着你远行 2024-03-22 19:36 103阅读 0赞

#### 一、背景 ####

贝叶斯分类是以贝叶斯定理为基础的一种分类算法，其主要思想为：先验概率+新的数据=后验概率。将分类看做决策，进行贝叶斯决策时考虑各类的先验概率和类条件概率，也即后验概率。

#### 二、贝叶斯公式 ####

我们经常会需要在已知 P (y | x) 时计算 P (x | y)。幸运的是，如果还知道 P (x)，  
我们可以用 贝叶斯公式来实现这一目的：

![6d134ab52b2a48309e22e127ad7d62b8.png][]

推广下来：

![168684a2a69342c9adbf49b95e7c6749.png][]

#### 三、最小错误率贝叶斯决策 ####

贝叶斯决策的基本理论依据就是贝叶斯公式（式1），由总体密度P(E)、先验概率P(H)和类条件概率P(E|H)计算出后验概率P(H|E)，判决遵从最大后验概率。这种仅根据后验概率作决策的方式称为最小错误率贝叶斯决策，可以从理论上证明这种决策的平均错误率是最低的。另一种方式是考虑决策风险，加入了损失函数，称为最小风险贝叶斯决策。

![66980c5c3fbb451eb0e94acd0b7a4965.png][]

![01f3a837847c41419f376dcedbd1268b.png][]

通过式3和式4得出，最小错误率意味着每一个决策都必须遵从最大后验概率。而最小错误率贝叶斯决策的判决方式就是遵从最大后验概率。

#### 四、 最小风险贝叶斯决策 ####

决策往往意味着风险，这是实际决策中的常见情形。在做出风险性决策时尤为需要考虑风险，比如巨额投资的决策，如果采取激进策略可能会带来巨额损失，而保守策略就不会有风险。各种决策的风险可以用决策表表示，如表1。假设ω1，表示亏损，α1表示保守决策；ω2表示盈利，α2表示激进决策。如果预测对了自然不会带来风险，但是如果做出了激进决策，可是接下来却是亏损状态，那这个决策具有较大的风险，因此给定风险值5；而在做出保守决策后出现盈利状态也会带来一定的风险，但不至于亏损本金，因此给定风险值1。

![2dcbc3fb9c824d0bbaeb1328d12fdfc8.png][]

![da47fffe50cd4665b3dc9cc53df49bdd.png][] ![b3bc07be5acb44368e27edab012fd0b6.png][]

#### 五、贝叶斯决策的一般过程 ####

（1）估计先验概率：①根据实际情况做经验估计；②根据样本分布的频率估计概率。

（2）计算类条件概率密度：①参数估计：类条件概率分布类型已知，参数未知，通过训练样本来估计（最大似然法、Bayes估计）；②非参数估计：不判断类条件概率分布类型，直接根据训练样本来估计（Parzen窗、k近邻法）。

（3）计算后验概率。

（4）若进行最小错误率决策，根据后验概率即可作出决策。

（5）若进行最小风险决策，按照式6计算即可。

参考：

[贝叶斯分类器原理——学习笔记\_就是AT的博客-CSDN博客][AT_-CSDN]

[统计决策——贝叶斯决策理论（Bayesian Decision Theory）][Bayesian Decision Theory]

[详解贝叶斯分类器\_贝叶斯分类器是一种\_toplatona的博客-CSDN博客][toplatona_-CSDN]

[6d134ab52b2a48309e22e127ad7d62b8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/bc3c3fba74394c0983bf0f8ea13d0981.png
[168684a2a69342c9adbf49b95e7c6749.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/24544b27cd0d4b6994fbe01add46b2c0.png
[66980c5c3fbb451eb0e94acd0b7a4965.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/838093d9c61744708c3e36ce18812eea.png
[01f3a837847c41419f376dcedbd1268b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/654ac450ae634ae3b5ab5c8e09730987.png
[2dcbc3fb9c824d0bbaeb1328d12fdfc8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/048351bd87ff48b9824618b3c3264c20.png
[da47fffe50cd4665b3dc9cc53df49bdd.png]: https://img-blog.csdnimg.cn/da47fffe50cd4665b3dc9cc53df49bdd.png
[b3bc07be5acb44368e27edab012fd0b6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/d5cb3edcbf2b4b0c829874c4c0b7de95.png
[AT_-CSDN]: https://blog.csdn.net/qq_43842886/article/details/122688862?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522168455412716800182155642%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=168455412716800182155642&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_click~default-2-122688862-null-null.142%5Ev87%5Einsert_down28,239%5Ev2%5Einsert_chatgpt&utm_term=%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%88%86%E7%B1%BB%E5%99%A8&spm=1018.2226.3001.4187
[Bayesian Decision Theory]: http://www.360doc.com/content/22/0720/11/75591611_1040560164.shtml
[toplatona_-CSDN]: https://blog.csdn.net/yangjingjing9/article/details/79986371?ops_request_misc=&request_id=&biz_id=102&utm_term=%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%88%86%E7%B1%BB%E5%99%A8&utm_medium=distribute.pc_search_result.none-task-blog-2~all~sobaiduweb~default-9-79986371.nonecase&spm=1018.2226.3001.4187