神经网络的损失函数讲解

我会带着你远行 2022-11-20 08:04 241阅读 0赞

在应用python进行神经网络训练时，我们需要提供神经网络。如Keras中，  
![2020102714551132.png][]

定义：在深度学习中。损失函数是用来衡量一组参数好坏的函数，其衡量方式是比较网络输出和真实输出的差异。  
损失函数有很多别名：价值函数，目标函数，误差函数  
损失函数并不使用测试数据来衡量网络的性能，损失函数用来指导训练过程，使得网络的参数向损失降低的方向改变。  
训练过程：  
[人工智能的本质：最优化 （神经网络优化算法python手写实现）][_python]

损失函数特性

1.  最小值，当网络的输出值和真实值一致时，损失为0，真实输出和网络输出越不一致时值越大。
2.  损失函数要求是凸函数，容易可导。需要根据输出的变化而平滑的变化，如果不容易求导会导致训练过程缓慢。

损失函数的前提：  
![20201027151020476.png_pic_center][]

不同的任务类型需要不同的损失函数  
回归型：绝对值误差，平方误差  
分类型：hinge loss ,cross-entropy loss

## **回归评价函数** ##

**绝对值误差**  
outliers:异常值  
![20201027151804339.png_pic_center][]

**平方误差**  
对异常值敏感原因：x偏移一点点，平方后会更大  
![20201027151911583.png_pic_center][]

## **分类评价函数** ##

![20201027152515985.png_pic_center][]

**softmax**  
![20201027152638717.png_pic_center][]  
softmax公式如下  
![20201027152827273.png_pic_center][]

**独热编码**  
![20201027152939110.png_pic_center][]

**cross-entropy loss**  
yk为真实输出，lk为网络输出，s(lk）表示对网络输出进行softmax,  
k表示k个类别  
![20201027153125921.png_pic_center][]  
![20201027153534590.png_pic_center][]  
为什么分类不用均方误差做损失函数  
![20201027153958919.png_pic_center][]

**二分类**  
二分类可以不用softmax，使用sigmoid,也不用one-hot  
![20201027155222434.png_pic_center][]  
二分类损失函数和多分类损失函数对比，其中σ为sigmoid函数  
![20201027155329813.png_pic_center][]

## **正则化** ##

正则化可以和损失函数结合起来，防止过拟合  
图中L为损失函数  
![20201027155906561.png_pic_center][]

![在这里插入图片描述][2020102716005373.jpg_pic_center]  
作者：电气工程的计算机萌新-余登武  
![在这里插入图片描述][20201027160254230.gif_pic_center]

[2020102714551132.png]: /images/20221120/7a8794fae4e54e3a9703bbb65b07284f.png
[_python]: https://blog.csdn.net/KOBEYU652453/article/details/108926212
[20201027151020476.png_pic_center]: https://img-blog.csdnimg.cn/20201027151020476.png#pic_center
[20201027151804339.png_pic_center]: https://img-blog.csdnimg.cn/20201027151804339.png#pic_center
[20201027151911583.png_pic_center]: https://img-blog.csdnimg.cn/20201027151911583.png#pic_center
[20201027152515985.png_pic_center]: https://img-blog.csdnimg.cn/20201027152515985.png#pic_center
[20201027152638717.png_pic_center]: https://img-blog.csdnimg.cn/20201027152638717.png#pic_center
[20201027152827273.png_pic_center]: https://img-blog.csdnimg.cn/20201027152827273.png#pic_center
[20201027152939110.png_pic_center]: https://img-blog.csdnimg.cn/20201027152939110.png#pic_center
[20201027153125921.png_pic_center]: https://img-blog.csdnimg.cn/20201027153125921.png#pic_center
[20201027153534590.png_pic_center]: https://img-blog.csdnimg.cn/20201027153534590.png#pic_center
[20201027153958919.png_pic_center]: https://img-blog.csdnimg.cn/20201027153958919.png#pic_center
[20201027155222434.png_pic_center]: https://img-blog.csdnimg.cn/20201027155222434.png#pic_center
[20201027155329813.png_pic_center]: https://img-blog.csdnimg.cn/20201027155329813.png#pic_center
[20201027155906561.png_pic_center]: https://img-blog.csdnimg.cn/20201027155906561.png#pic_center
[2020102716005373.jpg_pic_center]: https://img-blog.csdnimg.cn/2020102716005373.jpg#pic_center
[20201027160254230.gif_pic_center]: https://img-blog.csdnimg.cn/20201027160254230.gif#pic_center