机器学习中回归问题的性能指标

朴灿烈づ我的快乐病毒、 2024-03-31 08:59 81阅读 0赞

#### 目录 ####

*   *   *  1.均方误差-MSE（Mean Squared Error）
         *  2.均方根误差（RMSE）
         *  3.平均绝对误差-MAE
         *  4.R-Squared--决定系数-R2
         *  参考链接：

在机器学习中，在进行回归问题处理过程中，如何评价该回归模型是否与另一个回归模型有区别，如何比较两个回归模型的性能？  
一般评价指标主要有：MSE(平均平方误差)、RMSE(平方根误差)、MAE（平均绝对误差）、R2\_score。但是当量纲不同时，RMSE、MAE、MSE难以衡量模型效果好坏。这就需要用到R2\_score。

#### 1.均方误差-MSE（Mean Squared Error） ####

![在这里插入图片描述][b005fb4ae56c405b9a1e77c5f3215787.png_pic_center]  
　  
其中 y y y是测试集上的，用真实值减去预测值然后平方之后求和平均。如果仔细研究的话，这就是线性回归的损失函数，我们在作线性回归分析时，目的是尽可能的让这个损失函数最小。因此我们可以通过测试集测试模型的损失值大小，以此来作为评价依据。

#### 2.均方根误差（RMSE） ####

![在这里插入图片描述][ef91b06ea04f466c9a0bf9bf2010ff44.png_pic_center]

均方根误差（RMSE）是均方误差开平方根，这么作的目的是在描述误差时与测试数据的单位保持一致，便于描述。  
例如：在进行房价预测时，明年的房价每平方为1万元，我们预测的结果一个是0.8万元，一个是0.95万元，差值再平方后分别为4百万元和25万元，所以为了便于描述，就开一个根号，降低均方误差的数量级。

#### 3.平均绝对误差-MAE ####

![在这里插入图片描述][edaf4f1fe49d46c9844dae2dd05d080a.png_pic_center]

MAE 表示每个样本的预测值与真实值的距离。但与MSE对比，当预测值与真实值相差较大时，那么MSE的效果较明显。如果预测值与真实值相差较小，则MAE效果明显。

#### 4.R-Squared–决定系数-R2 ####

以上的几种衡量标准针对不同的模型会有不同的值。但一般误差衡量是根据正确率来判断，用数值对比没有可读性，因此，在线性回归中可以用R-Squared衡量性能比。在此之前，介绍几个常用的公式。

**（1）回归平方和：SSR**  
![在这里插入图片描述][5683b53f23ed4f22ad05d0a7028629a8.png_pic_center]  
即估计值与平均值的误差，反映自变量与因变量之间的相关程度的偏差平方和。  
**（2）残差平方和：SSE**  
![在这里插入图片描述][ba34e0ca498741908850cfae4daffd86.png_pic_center]  
即估计值与真实值的误差，反映模型的拟合程度

**（3）总离差平方和：SST**  
![在这里插入图片描述][66832863b789415c939e592495d6923b.png_pic_center]  
即平均值与真实值的误差，反映与数学期望的偏离程度

**（4）R-Squared公式：**  
![在这里插入图片描述][5353833d2ac445b7b20541d6dfbce81e.png_pic_center]  
即：  
![在这里插入图片描述][901c2dcfdea34e17911f1fb63f7ec6a8.png_pic_center]  
分子：需要衡量的模型  
分母：基准模型(将均值作为预测值)  
注：基准模型：将y的均值作为预测值。分子对应的的是需要衡量的模型，分母对应的是基准模型。  
R2 score 给出的值介于 0 到 1 之间，可以针对任何上下文进行解释。 它可以理解为是拟合度的好坏  
　　(1)R2=1,模型对所有的数据预测准确,模型的性能最优。  
　　(2)R2=0,模型的性能与基准模型相同；因此需要改进我们的模型。  
　　(3)R2<0,模型的性能低于基准模型，换句话说我们的模型比平均值训练的模型要差，即我们的模型还不如取平均数进行预测。  
如果我们模型的 R2 得分为 0.8，这意味着可以说模型能够解释 80% 的输出方差。也就是说，80%的工资变化可以用输入来解释，但剩下的20%是未知的。  
**R2的缺点:**  
随着输入特征数量的增加，R2会趋于相应的增加或者保持不变，但永远不会下降，即使输入特征对我们的模型不重要(例如，将面试当天的气温添加到我们的示例中，R2是不会下降的即使温度对输出不重要)。

#### 参考链接： ####

1.  [回归模型的性能的评价指标][Link 1]
2.  [衡量回归的性能指标][Link 2]
3.  [回归问题的评价指标和重要知识点总结][Link 3]

[b005fb4ae56c405b9a1e77c5f3215787.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/05a8633d7fc64807819f7217d276e8b8.png
[ef91b06ea04f466c9a0bf9bf2010ff44.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/c94d329d7d7c4f34b3be483128f5d41a.png
[edaf4f1fe49d46c9844dae2dd05d080a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/b6379cb7a2c242a395a62e3c7e39ca64.png
[5683b53f23ed4f22ad05d0a7028629a8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/4e46712377d8414e9d0a7f52ddaacacc.png
[ba34e0ca498741908850cfae4daffd86.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/468ea5ce34de4f6eb717456bf4ed77b4.png
[66832863b789415c939e592495d6923b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/bce1e35b368e4a9ebbcacdf973719124.png
[5353833d2ac445b7b20541d6dfbce81e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/0a85fdf6630447c0be359b280b32959e.png
[901c2dcfdea34e17911f1fb63f7ec6a8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/31/33b945e76a2c47488a7ad058eb232f32.png
[Link 1]: https://blog.csdn.net/qq_36535820/article/details/119037221
[Link 2]: https://www.cnblogs.com/lsm-boke/p/12186713.html
[Link 3]: https://baijiahao.baidu.com/s?id=1737657924440293205&wfr=spider&for=pc