【深度学习】两种交叉熵损失函数的异同

不念不忘少年蓝@ 2023-09-27 11:41 122阅读 0赞

在学习李沐老师的《动手学深度学习》softmax算法的时候，发现其损失函数和机器学习里的逻辑回归交叉熵损失函数有些不一样，探究了一下背后的原因，总结如下：

首先看一下逻辑回归里定义的交叉熵损失函数：  
 J ( θ ) = 1 m ∑ i = 1 m \[ − y ( i ) log ⁡ ( h θ ( x ( i ) ) − ( 1 − y ( i ) ) log ⁡ ( 1 − h θ ( x ( i ) ) ) \] J(\\theta)=\\frac\{1\}\{m\}\\sum\_\{i=1\}^m\[-y^\{(i)\}\\log(h\_\\theta(x^\{(i)\})-(1-y^\{(i)\})\\log(1-h\_\\theta(x^\{(i)\}))\] J(θ)=m1i=1∑m\[−y(i)log(hθ(x(i))−(1−y(i))log(1−hθ(x(i)))\]

看一下softmax里面的损失函数：

softmax函数给出了一个向量 y ^ \\hat\{\\textbf\{y\}\} y^，我们可以将其视为“对给定任意输入 x \\textbf\{x\} x的每个类的条件概率”，假设数据集 \{X,Y\} \\textbf\{\\\{X,Y\\\}\} \{X,Y\}具有 n n n个样本，其中索引 i i i的样本由特征向量 x ( i ) \\textbf\{x\}^\{(i)\} x(i)和独热标签向量 y ( i ) \\textbf\{y\}^\{(i)\} y(i)组成。我们可以将估计值与实际值进行比较：  
 P ( Y ∣ X ) = ∏ i = 1 n P ( y ( i ) ∣ x ( i ) ) P(\\textbf\{Y\}|\\textbf\{X\})=\\prod\_\{i=1\}^nP(\\textbf\{y\}^\{(i)\}|\\text\{x\}^\{(i)\}) P(Y∣X)=i=1∏nP(y(i)∣x(i))  
根据最大似然估计，我们最大化 P ( Y|X ) P(\\textbf\{Y|X\}) P(Y|X)，相当于最小化负对数似然：  
 − log ⁡ P ( Y|X ) = ∑ i = 1 n − log ⁡ P ( y ( i ) ∣ x ( i ) ) = ∑ i = 1 n l ( y ( i ) , y ^ ( i ) ) -\\log P(\\textbf\{Y|X\})=\\sum\_\{i=1\}^n-\\log P(\\textbf\{y\}^\{(i)\}|\\textbf\{x\}^\{(i)\})=\\sum\_\{i=1\}^nl(\\textbf\{y\}^\{(i)\},\\hat\{\\textbf\{y\}\}^\{(i)\}) −logP(Y|X)=i=1∑n−logP(y(i)∣x(i))=i=1∑nl(y(i),y^(i))  
其中，对于任何标签 y \\textbf\{y\} y和模型预测 y ^ \\hat\{\\textbf\{y\}\} y^，损失函数为：  
 l ( y , y ^ ) = − ∑ j = 1 q y i log ⁡ y j ^ l(\\textbf\{y\},\\hat\{\\textbf\{y\}\})=-\\sum\_\{j=1\}^qy\_i\\log \\hat\{y\_j\} l(y,y^)=−j=1∑qyilogyj^  
这两个都是交叉熵损失函数，但是看起来长的却有天壤之别。

为什么同是交叉熵损失函数，长的却不一样呢？

**因为这两个交叉熵损失函数对应不同的最后一层的输出。第一个对应的最后一层是softmax，第二个对应的最后一层是sigmoid。**

如果看到这个答案就明白了的话，就没必要往下看了，如果感觉云里雾里的话，请听细细分解。

首先来看信息论中交叉熵的定义：  
 − ∫ p ( x ) log ⁡ g ( x ) d x -\\int p(x)\\log g(x)dx −∫p(x)logg(x)dx  
交叉熵是用来描述两个分布的距离的，神经网络训练的目的就是使 g ( x ) g(x) g(x)逼近 p ( x ) p(x) p(x)。

现在来看softmax作为最后一层的情况。 g ( x ) g(x) g(x)是什么呢？就是最后一层的输出 y y y。 p ( x ) p(x) p(x)是什么呢？就是我们的one-hot标签。我们带入交叉熵的定义中算一下，就会得到第一个式子：  
 − t j log ⁡ y j -t\_j\\log y\_j −tjlogyj  
 j j j : 样本 x x x属于第 j j j类。

再来看sigmoid作为最后一层的情况。sigmoid作为最后一层输出的话，那就不能把最后一层的输出看作成一个分布了，因为加起来不为1。现在应该将最后一层的每个神经元看作一个分布，对应的target属于二项分布(target的值代表是这个类的概率)，那么第 i i i个神经元交叉熵为：  
 t i log ⁡ y i + ( 1 − t i ) log ⁡ ( 1 − y i ) t\_i\\log y\_i+(1-t\_i)\\log (1-y\_i) tilogyi\+(1−ti)log(1−yi)  
所以最后一层总的交叉熵损失函数是:  
 − ∑ i t i log ⁡ y i + ( 1 − t i ) log ⁡ ( 1 − y i ) -\\sum\_it\_i\\log y\_i+(1-t\_i)\\log (1-y\_i) −i∑tilogyi\+(1−ti)log(1−yi)  
最后总结一下：**这两个长的不一样的交叉熵损失函数实际上是对应的不同的输出层。**