机器学习：什么是条件熵？

女爷i 2022-11-09 14:09 258阅读 0赞

**转自：**[通俗理解条件熵][Link 1]

前面我们总结了信息熵的概念[通俗理解信息熵 - 知乎专栏][-],这次我们来理解一下条件熵。

我们首先知道信息熵是**考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。公式如下：**

![aae800aa3adbd05c9bba58d3008d10e1.png][]

我们的条件熵的定义是：**定义为X给定条件下，Y的条件概率分布的熵对X的数学期望**

**这个还是比较抽象，下面我们解释一下：**

设有随机变量（X,Y），其联合概率分布为

![d61177d50f0da9d20ca4d4326c524dd0.png][]

条件熵H（Y|X）表示在**已知随机变量X的条件下随机变量Y的不确定性。**随机变量X给定的条件下随机变量**Y的条件熵H(Y|X)**

## **公式** ##

**下面推导一下条件熵的公式：**

![c307635a45b3e8756a80e870c6d2eaa1.png][]

## **注意** ##

**注意，**这个条件熵，**是指在给定某个数（某个变量为某个值）的情况下，另一个变量的熵是多少，变量的不确定性是多少？**

**因为条件熵中X也是一个变量，意思是在一个变量X的条件下（变量X的每个值都会取），另一个变量Y熵对X的期望。**

**这是最容易错的！**

## **例子** ##

**下面通过例子来解释一下：**

![a51b8cc05cfb0a61c9f33c1c7e7abdf9.png][]

假如我们有上面数据：

设随机变量Y=\{嫁，不嫁\}

我们可以统计出，嫁的个数为6/12 = 1/2

不嫁的个数为6/12 = 1/2

那么Y的熵，根据熵的公式来算，可以得到H（Y） = -1/2log1/2 -1/2log1/2

**为了引出条件熵，我们现在还有一个变量X，代表长相是帅还是不帅，当长相是不帅的时候，统计如下红色所示：**

![8ca4fa5728f80f07dd859c2676f2bf09.png][]

**可以得出，当已知不帅的条件下，满足条件的只有4个数据了，这四个数据中，不嫁的个数为1个，占1/4**

**嫁的个数为3个，占3/4**

**那么此时的H（Y|X = 不帅） = -1/4log1/4-3/4log3/4**

**p(X = 不帅) = 4/12 = 1/3**

同理我们可以得到：

当已知帅的条件下，满足条件的有8个数据了，这八个数据中，不嫁的个数为5个，占5/8

嫁的个数为3个，占3/8

那么此时的H（Y|X = 帅） = -5/8log5/8-3/8log3/8

p(X = 帅) = 8/12 = 2/3

## **计算结果** ##

有了上面的铺垫之后，我们终于可以计算我们的条件熵了，我们现在需要求：

H（Y|X = 长相）

也就是说，我们想要求出当已知长相的条件下的条件熵。

**根据公式我们可以知道，长相可以取帅与不帅俩种**

**条件熵是**另一个变量Y熵对X（条件）的期望。

公式为：

![dff1c08b8ebd3b651ffa4dec6374309d.png][]

H（Y|X=长相） = p(X =帅)\*H（Y|X=帅）+p(X =不帅)\*H（Y|X=不帅）

**然后将上面已经求得的答案带入即可求出条件熵！**

**这里比较容易错误就是忽略了X也是可以取多个值，然后对其求期望！！**

**转自：**[通俗理解条件熵][Link 1]

[Link 1]: https://zhuanlan.zhihu.com/p/26551798
[-]: https://zhuanlan.zhihu.com/p/26486223
[aae800aa3adbd05c9bba58d3008d10e1.png]: /images/20221023/3886dbf58fc0492bb96ddd80818e0ef8.png
[d61177d50f0da9d20ca4d4326c524dd0.png]: /images/20221023/a1ebb118f961457ca3363d7ff519df8c.png
[c307635a45b3e8756a80e870c6d2eaa1.png]: /images/20221023/c135a7dc044545499254bf925f75c97f.png
[a51b8cc05cfb0a61c9f33c1c7e7abdf9.png]: /images/20221023/8e70c5cb51b145b59cf6a5f222704993.png
[8ca4fa5728f80f07dd859c2676f2bf09.png]: /images/20221023/35d7b14f113f498e8126d2f54ea9e9d3.png
[dff1c08b8ebd3b651ffa4dec6374309d.png]: /images/20221023/c0c65c21ebdb4e4f9ef11c2ccc315c3e.png