机器学习经典算法总结（2）——贝叶斯分类器

待我称王封你为后i 2022-05-31 04:16 204阅读 0赞

*  ## 贝叶斯分类器 ##

最小化错误率的贝叶斯最优分类器为：

![h^\*(x)=argmax\\, P(c|x)][h_x_argmax_ P_c_x]

其中，

![P(c|x)=\\frac\{P(x,c)\}\{P(x)\}][P_c_x_frac_P_x_c_P_x]

基于贝叶斯公式，可改写为：

![P(c|x)=\\frac\{P(c)P(x|c)\}\{P(x)\}][P_c_x_frac_P_c_P_x_c_P_x]

其中称*P(c|x)* 为后验概率，*P(c)* 为先验概率，*P(x|c)* 为条件概率.

*  ## 朴素贝叶斯分类器 ##

对于已知类别，假设所有属性相互独立，上式可重写为：

![P(c|x)=\\frac\{P(c)\}\{P(x)\}\\prod\_\{i=1\}^\{d\}P(x\_\{i\}|c)][P_c_x_frac_P_c_P_x_prod_i_1_d_P_x_i_c]

由于对所有类别来说相同，朴素贝叶斯分类器（naive Bayes classifier）表达式为：

![h\_\{nb\}(x)=\\underset\{c\\in y\}\{argmax\}\\, P(c)\\prod\_\{i=1\}^\{d\}P(x\_\{i\}|c)][h_nb_x_underset_c_in y_argmax_ P_c_prod_i_1_d_P_x_i_c]

于是朴素贝叶斯分类器的训练就是，对每一类估计的先验概率*P(c)* 和对每个属性估计条件概率*P(xi|c)*。

其中，对于连续属性的估计需要借助概率密度函数，假设![p(x\_\{i\}|c)\\sim N(\\mu \_\{c,i\}\\, ,\\, \\sigma \_\{c,i\}^\{2\})][p_x_i_c_sim N_mu _c_i_ _ _sigma _c_i_2]，其中![\\mu \_\{c,i\}][mu _c_i] 、![\\sigma \_\{c,i\}^\{2\}][sigma _c_i_2]代表c类样本在第i个属性上取值的均值和方差，则条件概率为：

![\\large P(c|x)=\\frac\{1\}\{\\sqrt\{2\\pi\}\\sigma \_\{c,i\}\}e^\{-\\frac\{(x\_\{i\}-\\mu\_\{c,i\} )^\{2\}\}\{2\\sigma \_\{c,i\}^\{2\}\}\}][large P_c_x_frac_1_sqrt_2_pi_sigma _c_i_e_-_frac_x_i_-_mu_c_i_ _2_2_sigma _c_i_2]

*  ## 拉普拉斯修正 ##

由于在分类器的表达式中会出现连乘，为了避免出现概率为零带来的影响，需要进行拉普拉斯修正，修正公式如下：

![\\hat\{p\}(c)=\\frac\{|D\_\{c\}|+1\}\{|D|+N\}][hat_p_c_frac_D_c_1_D_N]

![\\hat\{p\}(x\_\{i\}|c)=\\frac\{|D\_\{c,x\_\{i\}\}|+1\}\{|D\_\{c\}|+N\_\{i\}\}][hat_p_x_i_c_frac_D_c_x_i_1_D_c_N_i]

*  ## 半朴素贝叶斯分类器 ##

半朴素贝叶斯分类器（semi-naive Bayes classifiers）的基本思想是：适当考虑一部分属性间的相互依赖信息，既不需要计算完全联合概率，又不彻底忽略比较强的属性依赖关系。常用的策略有“独立依赖估计”策略（ODE），TAN策略，AODE策略等等。

*  ## 贝叶斯网络 ##

当特征之间相关性比较强，而我们又要求比较精确的类概率的时候，就要借助贝叶斯网络进行训练，贝叶斯网是一种经典的概率图模型，借助有向无环图（Directed acyclic graph, DAG）来描述属性间的依赖关系，用条件概率表（Condition Probability Table, CPT）来描述属性的联合概率分布。

贝叶斯网结构有效地表达了属性间的条件独立性，贝叶斯网中三个变量之间的典型依赖关系是同父结构、V型结构、顺序结构。为了分析有向图中变量间的条件独立性，可使用有向分离先把有向图转变为道德图，令父结点相连的过程称为道德化。

[h_x_argmax_ P_c_x]: /images/20220531/4e41f2c6147b44ad883f4ced21460350.png
[P_c_x_frac_P_x_c_P_x]: /images/20220531/956aa3be61534cec81267891b159e32a.png
[P_c_x_frac_P_c_P_x_c_P_x]: /images/20220531/0af1b4f3eb8c459c93c196f07c97bc18.png
[P_c_x_frac_P_c_P_x_prod_i_1_d_P_x_i_c]: /images/20220531/6b32b6ff27dc4a90a14bfb7157edc516.png
[h_nb_x_underset_c_in y_argmax_ P_c_prod_i_1_d_P_x_i_c]: /images/20220531/f6319c1eaaca484ab95c5f2f3c16c1f1.png
[p_x_i_c_sim N_mu _c_i_ _ _sigma _c_i_2]: https://img-blog.csdnimg.cn/20181220221858608
[mu _c_i]: https://img-blog.csdnimg.cn/20181220221858624
[sigma _c_i_2]: /images/20220531/0d02786c1fb24334b46c9649cf6b5b39.png
[large P_c_x_frac_1_sqrt_2_pi_sigma _c_i_e_-_frac_x_i_-_mu_c_i_ _2_2_sigma _c_i_2]: /images/20220531/412ba2b2418c4030ac879309c6fc1781.png
[hat_p_c_frac_D_c_1_D_N]: /images/20220531/3f9b319a319940898ceb8d25ae15e271.png
[hat_p_x_i_c_frac_D_c_x_i_1_D_c_N_i]: /images/20220531/a9e2d407a1254dbf80d36632f04d41df.png