似然（likelihood）、极大似然、对数似然、最大后验等

女爷i 2024-02-06 06:33 79阅读 0赞

## 1 似然 ##

设总体X服从分布P(x；θ)（当X是连续型随机变量时为概率密度，当X为离散型随机变量时为概率分布），θ为待估参数（或者说系统参数），X1,X2,…Xn是来自于总体X的样本，x1,x2…xn为样本X1,X2,…Xn的一个观察值，则样本的联合分布　L（θ）称为似然函数，离散变量形式如下所示：

![e457ac139b11314b6a5ffbfb387ed088.png][]

### 2 极大似然（Maximum Likelihood） ###

![a66b15af4e65417f816e8e1b4dc5a9da.png][]

所以，我们要取L最大值，使得x1,x2…xn观察值才最有可能发生。**当似然函数取最大值时，意味着参数****θ****一定程度上非常贴合所给数据分布，也就是说，在参数****θ****下，模型预测的值和真实值相对来说比较接近，也就是损失函数较小。**

![e6c5f1adb44647dd95660ea603728713.png][]

![deb52b83509c6955159fe397efeedeba.png][]

### 3 对数似然（log likelihood） ###

使用对数似然而不是普通旧似然的原因是数学方便，因为它可以让你将乘法转化为加法。同时联合概率中的概率都是 1 以下的数，所以像联合概率这种概率乘法的值会越来越小。如果值太小，编程时会出现精度问题。

![9fab2ef56f958ab79de8be13752947c0.png][]

### 4 MAP和MLE ###

频率学派 - Frequentist - Maximum Likelihood Estimation (MLE，最大似然估计)

贝叶斯学派 - Bayesian - Maximum A Posteriori (MAP，最大后验估计)

#### **4.1贝叶斯学派** ####

在贝叶斯学派里有两大输入和一大输出，输入是先验 (prior) p(θ)和似然 (likelihood) p(X|θ)，输出是后验 (posterior) p(θ|X)。

![b37b618e39607a085c378f7c04492356.png][]

#### 4.2 MAP ####

![39b63781b5fdf0e714c71bf998f78a97.png][]

第三行到第四行P(x)可以丢掉,因为与 θ无关。

假定先验是一个高斯分布,

![7f061efd308ba28e5790dc26462bade5.png][]

**其中 log p(X|****θ****)是MLE。在MAP中使用一个高斯分布的先验等价于在MLE中采用L2的regularizaton！**

### 5.极大似然（maximum likelihood）等价于最小KL散度 ###

### 下面图片显示了极大似然（maximum likelihood）等价于最小KL散度。 ###

![3968cd4b49d642b49f642931e22daa77.jpeg][]

[e457ac139b11314b6a5ffbfb387ed088.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/9664bfb8c4d1431885f7fe51d8d8d40e.png
[a66b15af4e65417f816e8e1b4dc5a9da.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/0ae3318062ad4476855bf2b678408ff8.png
[e6c5f1adb44647dd95660ea603728713.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/a2a48c4a7a1140f9894f68d1aaeb65ab.png
[deb52b83509c6955159fe397efeedeba.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/f1ddd382292c4fa3a6ba2a0dcb949f85.png
[9fab2ef56f958ab79de8be13752947c0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/330c5abbd211474b926c7734be671f19.png
[b37b618e39607a085c378f7c04492356.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/7b11f84c862040cbac98da32a49dcd2c.png
[39b63781b5fdf0e714c71bf998f78a97.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/9df39ebd6e6a4104994272000d51f14d.png
[7f061efd308ba28e5790dc26462bade5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/eca025f92ba8403daf8e61dc7a56baa8.png
[3968cd4b49d642b49f642931e22daa77.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/8a84d84fb0574c96a2c8c4b1867ffa5c.png