Python计算两个离散变量分布的KL散度( Kullback–Leibler divergence）

男娘i 2022-05-14 08:16 479阅读 0赞

# Python实现两个离散变量分布的KL散度( Kullback–Leibler divergence） #

KL散度( Kullback–Leibler divergence)，又称相对熵，是描述两个概率分布 P 和 Q 差异的一种方法。根据计算公式:

D(P||Q)=∑P(x)log2P(x)Q(x)  D ( P | | Q ) = ∑ P ( x ) log 2 ⁡ P ( x ) Q ( x )

可以发现，P 和 Q 中元素的个数不用相等，只需要两个分布中的离散元素一致。

--------------------

*  **下面举个简单的例子**  
    两个离散分布分布分别为 P 和 Q  
    P 的分布为：\{1，1，2，2，3\}  
    Q 的分布为：\{1，1，1，1，1，2，3，3，3，3\}  
    我们发现，虽然两个分布中元素个数不相同，P 的元素个数为 5，Q 的元素个数为 10。但里面的元素都有 “1”，“2”，“3” 这三个元素。  
    当 x = 1时，在 P 分布中，“1” 这个元素的个数为 2，故 P(x = 1) = 25  2 5  = 0.4，在 Q 分布中，“1” 这个元素的个数为 5，故 Q(x = 1) = 510  5 10  = 0.5  
    同理，  
    当 x = 2 时，P(x = 2) = 25  2 5  = 0.4 ，Q(x = 2) = 110  1 10  = 0.1  
    当 x = 3 时，P(x = 3) = 15  1 5  = 0.2 ，Q(x = 3) = 410  4 10  = 0.4  
    把上述概率带入公式：  
    
    
    D(P||Q)=0.4log20.40.5\+0.4log20.40.1\+0.2log20.20.4=0.47  D ( P | | Q ) = 0.4 log 2 ⁡ 0.4 0.5 + 0.4 log 2 ⁡ 0.4 0.1 + 0.2 log 2 ⁡ 0.2 0.4 = 0.47 
    
      
    至此，就计算完成了两个离散变量分布的KL散度。

--------------------

*  **下面使用Python语言实现KL散度的计算**  
    x 和 y 是两个离散变量的随机分布（这里的离散分布和上面例子不一样，读者可自行更换为自己的离散分布）  
    p\[ \] 和 q\[ \] 保存的是每个元素所占的比例，是一个概率。  
    最终计算结果保留两位小数。

from math import log
    
    x = [1, 1, 1, 2, 3, 4, 1, 2, 3, 4, 1, 3, 4, 1, 2, 3, 3, 1, 2, 3, 1, 2, 3, 1, 3, 1]
    y = [2, 2, 2, 2, 3, 4, 4, 2, 2, 1, 2, 4, 3, 2, 2, 1, 3, 4, 4, 2, 4, 3]
    k_x = set(x)
    p = []
    for i in k_x:
        p.append(x.count(i) / len(x))
    
    k_y = set(y)
    q = []
    for i in k_y:
        q.append(y.count(i) / len(y))
    
    KL = 0.0
    for i in range(len(k_x)):
        KL += p[i] * log(p[i] / q[i], 2)
    print(round(KL, 2))

希望大家看到上面这个简单的例子，都已经知道了如果计算 KL散度。  
文章如有问题，请联系笔者随时更正，大家一同进步，谢谢支持！