机器学习中目标函数、损失函数以及正则项的通俗解释

傷城~ 2022-05-23 01:28 230阅读 0赞

*  目录：
    
     *  前言：
     *  1、什么是目标函数？
     *  2、损失函数
     *  3、正则化
     *  总结：

# 目录： #

## 前言： ##

今天看到一篇很精简的文章来说明目标函数、损失函数以及正则项是什么。以下是文章正文。  
转自：[https://xiaozhuanlan.com/topic/7504682391][https_xiaozhuanlan.com_topic_7504682391]

## 1、什么是目标函数？ ##

定义是：**指所关心的目标与相关的因素的函数关系**。举个例子，假如我们想要预测公司楼下手抓饼店明天能卖多少张手抓饼，已知过去10天每天卖多少，以及每天的天气情况，是否有节假日，和手抓饼店老板和老板娘的感情状况，这几项数据都统计好了。对应到目标函数的解释就是：

1.  关心的目标是明天能卖多少手抓饼，未知量。
2.  相关因素是每天数量，天气情况，节假日，老板老板娘感情状况，已知量。
3.  目标函数：按照一定的思路把这些已知条件利用起来，去求解未知量的函数关系式。

## 2、损失函数 ##

**也叫代价函数，是同一个东西**。**是用来评估模型的预测值f(x)与真实值Y的差距，它是一个非负实值函数。**稍等一下，为什么是非负的呢？举个例子：比如上面说的手抓饼，模型预测第一天是30，真实值是29，差距30-29是1；预测第二天是35，真实值是36，差距35-36是-1；如果把它们直接加起来就是1-1 = 0，难到没有差距？非常明显是错误的，差距是0人家还以为都预测对了呢，其实都预测错了，所以不能有负值，可以用绝对值，平方或者一些其它的数学运算。  
**常用的损失函数有：**

1.  LR逻辑回归：log对数损失函数 参考：  
    [https://xiaozhuanlan.com/topic/7491865230][https_xiaozhuanlan.com_topic_7491865230]
2.  最小二乘法：平方损失函数 参考：  
    [https://xiaozhuanlan.com/topic/3129560874][https_xiaozhuanlan.com_topic_3129560874]
3.  Adaboost：指数损失函数

好的，现在我们再来看一下**目标函数通常的定义形式：**

*  `Obj(Θ)=L(Θ)+Ω(Θ)`

**中文翻译一下是 ：**

*  **目标函数 = 损失函数 + 正则项**

目标函数和损失函数我们都理解了，那么正则项是干什么的呢？

## 3、正则化 ##

回到我们前面举的那个例子，如果第五天有个人中彩票了然后兴奋的来买了1百张手抓饼，比几天的量都多，很明显这个情况会影响我们的模型训练，这个情况就是过拟合。而加入正则项的目的就是使模型避免过拟合。  
常用的有L1，L2正则化，很熟悉对不对，前面讲过的线性代数中的L1，L2范数有些类似。其实本质是一样的，在机器学习里叫正则化，线性代数叫范数，统计学里叫惩罚项。  
机器学习里：L1使用的是绝对值距离，也叫曼哈顿距离，L2使用的是平方距离，也叫做欧式（Euclidean）距离  
线性代数：L1 范数计算的是向量所有元素绝对值的和，L2 范数计算的是通常意义上的向量长度 参考：[https://xiaozhuanlan.com/topic/4961780352][https_xiaozhuanlan.com_topic_4961780352]

## 总结： ##

介绍了目标函数，损失函数和正则项的作用，**优化损失函数使模型避免欠拟合使损失函数最小化，优化正则项使模型避免过拟合。**

[https_xiaozhuanlan.com_topic_7504682391]: https://xiaozhuanlan.com/topic/7504682391
[https_xiaozhuanlan.com_topic_7491865230]: https://xiaozhuanlan.com/topic/7491865230
[https_xiaozhuanlan.com_topic_3129560874]: https://xiaozhuanlan.com/topic/3129560874
[https_xiaozhuanlan.com_topic_4961780352]: https://xiaozhuanlan.com/topic/4961780352