【代价函数】Cross_entropy：交叉熵损失函数（Cross_entropy loss）

水深无声 2022-05-15 08:21 482阅读 0赞

##### 1.Cross\_entropy公式及导数推导 #####

损失函数：

![20160402172100739][]  
a=σ(z), where z=wx+b

利用SGD等算法优化损失函数，通过梯度下降法改变参数从而最小化损失函数：  
对两个参数权重和偏置进行求偏导：

![LCXi3QA.jpg][]

![hMf3zC1.jpg][]

推导过程如下(关于偏置的推导是一样的)：

![20160402180457695][]

**Note**：这个推导中利用了sigmoid激活函数求导，才化简成最后的结果的。[sigmoid求导详解][sigmoid]

##### 2.分析交叉熵Loss的特点 #####

导数中没有σ′(z)这一项，权重的更新是受σ(z)−y这一项影响，即受误差的影响。所以当误差大的时候，权重更新就快，当误差小的时候，权重的更新就慢。这一特性很好的解决了[L2 loss的不足][sigmoid]。

\#\#\#\#\#3.关于softmax和sigmoid  
我们最后一层（也就是输出）是通过sigmoid函数，因此采用了交叉熵代价函数。而深度学习中更普遍的做法是将softmax作为最后一层，此时常用的是代价函数是log-likelihood cost。

其实这两者是一致的，logistic回归用的就是sigmoid函数，softmax回归是logistic回归的多类别推广。log-likelihood代价函数在二类别时就可以化简为交叉熵代价函数的形式。具体可以参考[UFLDL教程][UFLDL]。

[red\_stone解释交叉熵损失][red_stone]

[20160402172100739]: /images/20220515/18b05f963ae243a18261b29d5ede46a0.png
[LCXi3QA.jpg]: http://i.imgur.com/LCXi3QA.jpg
[hMf3zC1.jpg]: http://i.imgur.com/hMf3zC1.jpg
[20160402180457695]: /images/20220515/9c282960a3434000b8a7402bb805301d.png
[sigmoid]: https://blog.csdn.net/qiu931110/article/details/82111201
[UFLDL]: http://deeplearning.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92
[red_stone]: https://blog.csdn.net/red_stone1/article/details/80735068