理解最大似然概率MLE和最大后验概率MAP的区别

墨蓝 2023-10-13 20:43 61阅读 0赞

贝叶斯学派认为世界不确定的，并没有一个确定的规律参数可以做参考，但是可以对事件有一个预判（先验），然后通过观测数据不断的更新对世界的认知（后验），这就是最大似然概率MLE和最大后验概率MAP的来历。

可以看到，贝叶斯学派跟传统频率学派有着根本性的不同：传统频率学派坚持认为：通过大量样本的试验观测，最终一定可以找到事物确定的本征值。而贝叶斯学派认为事物本身不确定，但你可以有个先验预判，然后通过观测反向更新对事物的认知，最终得到一个关于事物的概率分布，也就是后验概率。

假设X是发生的事件/样本点，θ是模型参数。

那么最大似然估计 的公式==》 MLE =  a r g m a x θ \\underset\{θ\}\{argmax\} θargmax( P(X|θ) )

什么意思呢？ 就是找到一个模型参数θ，使得事件X出现的概率最大，这个就是最大似然估计。

所以看的到，最大似然估计其实很简单，总结来说就一句话“模型已知， 求解参数”

而最大后验概率是===》 MAP =  a r g m a x θ \\underset\{θ\}\{argmax\} θargmax( P(θ|X) )  
这个可能不太好理解，简单说就是：在事件已知的情况下，反推出模型参数θ出现概率最大的情况。

这里我们用贝叶斯公式拆解一下，贝叶斯公式如下:

P ( A ∣ B ) = P ( B ∣ A ) ∗ P ( A ) P ( B ) P(A|B) = \{P(B|A) \* P(A)\\over P(B)\} P(A∣B)=P(B)P(B∣A)∗P(A)

所以MAP可以拆解为：         P(θ|X) =  P ( X ∣ θ ) ∗ P ( θ ) P ( X ) \{P(X|θ) \* P(θ)\\over P(X)\} P(X)P(X∣θ)∗P(θ)  
而这里P(X)实际是确定的，所以  
 P ( θ ∣ X ) = P ( X ∣ θ ) ∗ P ( θ ) = M L E ∗ P ( θ ) P(θ|X) = P(X|θ) \* P(θ) = MLE \* P(θ) P(θ∣X)=P(X∣θ)∗P(θ)=MLE∗P(θ)  
那么MAP 后验概率就是**MLE \* P(θ)**  
这里隐藏了一层意思：就是MLE最大似然估计是认为：模型参数出现的几率是均等的，机会但是一样的。  
而MAP则认为模型参数自身有一个概率分布P(θ) ，这个就是一个先验，相当于有一个预判在这里。  
在样本数量小的情况下，先验会起的作用更多一些，并影响到MAP后验概率。  
但随之样本的数量的增大，先验的影响逐渐减小，MAP的概率分布会向MLE靠近。

如果我们把P(θ) 的概率分布选取成以下两种典型的情况：

1.  高斯分布： N(μ, σ)
2.  拉普拉斯分布： 1 2 b \{1\\over 2b\} 2b1 exp(- ∣ x − μ ∣ b \{|x-μ|\\over b\} b∣x−μ∣)

为了减少计算量将μ置为0，同时假设样本为线性回归模型：  
 P ( X ∣ w , b ) = ∏ i = 1 n P ( y i ∣ x i , w , b ) P(X| w, b ) = \\prod\_\{i=1\}^\{n\} P(y\_i | x\_i, w, b) P(X∣w,b)=i=1∏nP(yi∣xi,w,b)

那么MAP可以改写成以下形式（推导过程略，主要是取对数过程）：

P ( θ ) 为高斯分布时： M A P = l o g ( M L E ) − ∣ w ∣ 2 2 ∗ σ 2 P(θ) 为高斯分布时： MAP = log(MLE) - \{|w|^2\\over 2 \* σ^2\} P(θ)为高斯分布时：MAP=log(MLE)−2∗σ2∣w∣2  
 P ( θ ) 为拉普拉斯分布时： M A P = l o g ( M L E ) − ∣ w ∣ 2 b P(θ) 为拉普拉斯分布时：MAP = log(MLE) - \{|w|\\over 2b\} P(θ)为拉普拉斯分布时：MAP=log(MLE)−2b∣w∣

可以看到： MAP最终为MLE + θ的正则化:  
P(θ) 为高斯分布 ==> L2正则化  
P(θ) 为拉普拉斯 ==》 L1正则化