【论文常用笔记】回归模型评估指标

Dear 丶 2023-01-01 09:54 290阅读 0赞

### 范数 ###

*  一、什么是回归问题？
 *  二、常用回归模型评估指标有哪些？
 *   *  1、绝对误差：  y i − y ^ i y\_\{i\}-\\hat\{y\}\_\{i\} yi−y^i
     *  2、相对误差：  y i − y ^ i y i \\frac\{y\_\{i\}-\\hat\{y\}\_\{i\}\}\{y\_\{i\}\} yiyi−y^i
     *  3、平均绝对值误差 MAE： 是绝对误差的平均值  MAE ⁡ ( y , y ^ ) = 1 n ∑ i = 1 n ∣ y i − y ^ i ∣ \\operatorname\{MAE\}(y, \\hat\{y\})=\\frac\{1\}\{n\} \\sum\_\{i=1\}^\{n\}\\left|y\_\{i\}-\\hat\{y\}\_\{i\}\\right| MAE(y,y^)=n1i=1∑n∣yi−y^i∣
     *  4、均方误差 MSE： 是指参数估计值与参数真值之差平方的期望值 MSE ⁡ ( y , y ^ ) = 1 n ∑ i = 1 n ∥ y i − y ^ i ∥ 2 2 \\operatorname\{MSE\}(y, \\hat\{y\})=\\frac\{1\}\{n\} \\sum\_\{i=1\}^\{n\}\\left\\|y\_\{i\}-\\hat\{y\}\_\{i\}\\right\\|\_\{2\}^\{2\} MSE(y,y^)=n1i=1∑n∥yi−y^i∥22
     *  5、均方根误差 RMSE： 是均方误差的算术平方根 RMSE ⁡ ( y , y ^ ) = 1 n ∑ i = 1 n ∥ y i − y ^ i ∥ 2 2 \\operatorname\{RMSE\}(y, \\hat\{y\})=\\sqrt\{\\frac\{1\}\{n\} \\sum\_\{i=1\}^\{n\}\\left\\|y\_\{i\}-\\hat\{y\}\_\{i\}\\right\\|\_\{2\}^\{2\}\} RMSE(y,y^)=n1i=1∑n∥yi−y^i∥22
     *  6、均方根对数误差 MLSE：  MLSE ⁡ ( y , y ^ ) = 1 n ∑ i = 1 n ( ln ⁡ ( 1 + y i ) − ln ⁡ ( 1 + y ^ i ) ) 2 \\operatorname\{MLSE\}(y, \\hat\{y\})=\\frac\{1\}\{n\} \\sum\_\{i=1\}^\{n\}\\left(\\ln (1+y\_\{i\})-\\ln \\left(1+\\hat\{y\}\_\{i\}\\right)\\right)^\{2\} MLSE(y,y^)=n1i=1∑n(ln(1\+yi)−ln(1\+y^i))2
     *  7、平均绝对百分比误差 MAPE：  MAPE ⁡ ( y , y ^ ) = 1 n ∑ i = 1 n ∥ y i − y ^ i ∥ ∥ y i ∥ \\operatorname\{MAPE\}(y, \\hat\{y\})=\\frac\{1\}\{n\} \\sum\_\{i=1\}^\{n\} \\frac\{\\left\\|y\_\{i\}-\\hat\{y\}\_\{i\}\\right\\|\}\{\\left\\|y\_\{i\}\\right\\|\} MAPE(y,y^)=n1i=1∑n∥yi∥∥yi−y^i∥
     *  8、回归平方和 SSR： S S R = ∑ i = 0 n ( y ^ i − y ˉ ) 2 S S R=\\sum\_\{i=0\}^\{n\}\\left(\\hat\{y\}\_\{i\}-\\bar\{y\}\\right)^\{2\} SSR=i=0∑n(y^i−yˉ)2
     *  9、误差平方和 SSE：  S S E = ∑ i = 0 n ( y i − y ^ i ) 2 S S E=\\sum\_\{i=0\}^\{n\}\\left(y\_\{i\}-\\hat\{y\}\_\{i\}\\right)^\{2\} SSE=i=0∑n(yi−y^i)2
     *  10、离差平方和 SST：  S S T = ∑ i = 0 n ( y i − y ˉ ) 2 S S T=\\sum\_\{i=0\}^\{n\}\\left(y\_\{i\}-\\bar\{y\}\\right)^\{2\} SST=i=0∑n(yi−yˉ)2
     *  10、 R 2 R^2 R2：  R 2 ( y , y ^ ) = 1 − ∑ i = 0 n ( y i − y ^ i ) 2 ∑ i = 0 n ( y i − y ˉ ) 2 = S S R S S T = 1 − S S E S S T R^\{2\}(y, \\hat\{y\})=1-\\frac\{\\sum\_\{i=0\}^\{n\}\\left(y\_\{i\}-\\hat\{y\}\_\{i\}\\right)^\{2\}\}\{\\sum\_\{i=0\}^\{n\}\\left(y\_\{i\}-\\bar\{y\}\\right)^\{2\}\}=\\frac\{S S R\}\{S S T\}=1-\\frac\{S S E\}\{S S T\} R2(y,y^)=1−∑i=0n(yi−yˉ)2∑i=0n(yi−y^i)2=SSTSSR=1−SSTSSE R 2 ( y , y ^ ) = 1 − ∑ i = 0 n ( y i − y ^ i ) 2 / n ∑ i = 0 n ( y i − y ˉ ) 2 / n = 1 − M S E V a r R^\{2\}(y, \\hat\{y\})=1-\\frac\{\\sum\_\{i=0\}^\{n\}\\left(y\_\{i\}-\\hat\{y\}\_\{i\}\\right)^\{2\} / n\}\{\\sum\_\{i=0\}^\{n\}\\left(y\_\{i\}-\\bar\{y\}\\right)^\{2\} / n\}=1-\\frac\{\\mathrm\{MSE\}\}\{\\mathrm\{Var\}\} R2(y,y^)=1−∑i=0n(yi−yˉ)2/n∑i=0n(yi−y^i)2/n=1−VarMSE
     *  10、修正决定系数（调整后R平方）：判断你的模型里该不该加入你想加进来的自变量 R ˉ 2 = 1 − R S S / ( n − k − 1 ) T S S / ( n − 1 ) \\bar\{R\}^\{2\}=1-\\frac\{R S S /(n-k-1)\}\{T S S /(n-1)\} Rˉ2=1−TSS/(n−1)RSS/(n−k−1)
 *  三、python代码(代码待更新中)

# 一、什么是回归问题？ #

回归问题就是建立一个关于自变量和因变量关系的函数，通过训练数据得到回归函数中各变量前系数的一个过程。那么模型的好坏就体现到用这个建立好的函数**预测得出的值与真实值的差值大小（即误差大小）**，如果差值越大，说明预测的越差，反之亦然。

# 二、常用回归模型评估指标有哪些？ #

标准差:标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。平均数相同的两组组数据，标准差未必相同。

用 y i y\_\{i\} yi表示真实的观测值，用 y ˉ \\bar\{y\} yˉ表示真实观测值的平均值，用 y ^ i \\hat\{y\}\_\{i\} y^i表示预测值.

## 1、绝对误差：  y i − y ^ i y\_\{i\}-\\hat\{y\}\_\{i\} yi−y^i ##

## 2、相对误差：  y i − y ^ i y i \\frac\{y\_\{i\}-\\hat\{y\}\_\{i\}\}\{y\_\{i\}\} yiyi−y^i ##

## 3、平均绝对值误差 MAE： 是绝对误差的平均值  MAE ⁡ ( y , y ^ ) = 1 n ∑ i = 1 n ∣ y i − y ^ i ∣ \\operatorname\{MAE\}(y, \\hat\{y\})=\\frac\{1\}\{n\} \\sum\_\{i=1\}^\{n\}\\left|y\_\{i\}-\\hat\{y\}\_\{i\}\\right| MAE(y,y^)=n1i=1∑n∣yi−y^i∣ ##

平均绝对误差能更好地反映预测值误差的实际情况.

import numpy as np
    from sklearn import metrics
    y_true = np.array([1.0, 5.0, 4.0, 3.0, 2.0, 5.0, -3.0])
    y_pred = np.array([1.0, 4.5, 3.5, 5.0, 8.0, 4.5, 1.0])
    print(metrics.mean_absolute_error(y_true, y_pred))

## 4、均方误差 MSE： 是指参数估计值与参数真值之差平方的期望值 MSE ⁡ ( y , y ^ ) = 1 n ∑ i = 1 n ∥ y i − y ^ i ∥ 2 2 \\operatorname\{MSE\}(y, \\hat\{y\})=\\frac\{1\}\{n\} \\sum\_\{i=1\}^\{n\}\\left\\|y\_\{i\}-\\hat\{y\}\_\{i\}\\right\\|\_\{2\}^\{2\} MSE(y,y^)=n1i=1∑n∥yi−y^i∥22 ##

MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。  
范围\[0,+∞)，当预测值与真实值完全相同时为0，误差越大，该值越大。

## 5、均方根误差 RMSE： 是均方误差的算术平方根 RMSE ⁡ ( y , y ^ ) = 1 n ∑ i = 1 n ∥ y i − y ^ i ∥ 2 2 \\operatorname\{RMSE\}(y, \\hat\{y\})=\\sqrt\{\\frac\{1\}\{n\} \\sum\_\{i=1\}^\{n\}\\left\\|y\_\{i\}-\\hat\{y\}\_\{i\}\\right\\|\_\{2\}^\{2\}\} RMSE(y,y^)=n1i=1∑n∥yi−y^i∥22 ##

import numpy as np
    from sklearn import metrics
    y_true = np.array([1.0, 5.0, 4.0, 3.0, 2.0, 5.0, -3.0])
    y_pred = np.array([1.0, 4.5, 3.5, 5.0, 8.0, 4.5, 1.0])
    print(np.sqrt(metrics.mean_squared_error(y_true, y_pred)))

## 6、均方根对数误差 MLSE：  MLSE ⁡ ( y , y ^ ) = 1 n ∑ i = 1 n ( ln ⁡ ( 1 + y i ) − ln ⁡ ( 1 + y ^ i ) ) 2 \\operatorname\{MLSE\}(y, \\hat\{y\})=\\frac\{1\}\{n\} \\sum\_\{i=1\}^\{n\}\\left(\\ln (1+y\_\{i\})-\\ln \\left(1+\\hat\{y\}\_\{i\}\\right)\\right)^\{2\} MLSE(y,y^)=n1i=1∑n(ln(1\+yi)−ln(1\+y^i))2 ##

## 7、平均绝对百分比误差 MAPE：  MAPE ⁡ ( y , y ^ ) = 1 n ∑ i = 1 n ∥ y i − y ^ i ∥ ∥ y i ∥ \\operatorname\{MAPE\}(y, \\hat\{y\})=\\frac\{1\}\{n\} \\sum\_\{i=1\}^\{n\} \\frac\{\\left\\|y\_\{i\}-\\hat\{y\}\_\{i\}\\right\\|\}\{\\left\\|y\_\{i\}\\right\\|\} MAPE(y,y^)=n1i=1∑n∥yi∥∥yi−y^i∥ ##

## 8、回归平方和 SSR： S S R = ∑ i = 0 n ( y ^ i − y ˉ ) 2 S S R=\\sum\_\{i=0\}^\{n\}\\left(\\hat\{y\}\_\{i\}-\\bar\{y\}\\right)^\{2\} SSR=i=0∑n(y^i−yˉ)2 ##

## 9、误差平方和 SSE：  S S E = ∑ i = 0 n ( y i − y ^ i ) 2 S S E=\\sum\_\{i=0\}^\{n\}\\left(y\_\{i\}-\\hat\{y\}\_\{i\}\\right)^\{2\} SSE=i=0∑n(yi−y^i)2 ##

## 10、离差平方和 SST：  S S T = ∑ i = 0 n ( y i − y ˉ ) 2 S S T=\\sum\_\{i=0\}^\{n\}\\left(y\_\{i\}-\\bar\{y\}\\right)^\{2\} SST=i=0∑n(yi−yˉ)2 ##

## 10、 R 2 R^2 R2：  R 2 ( y , y ^ ) = 1 − ∑ i = 0 n ( y i − y ^ i ) 2 ∑ i = 0 n ( y i − y ˉ ) 2 = S S R S S T = 1 − S S E S S T R^\{2\}(y, \\hat\{y\})=1-\\frac\{\\sum\_\{i=0\}^\{n\}\\left(y\_\{i\}-\\hat\{y\}\_\{i\}\\right)^\{2\}\}\{\\sum\_\{i=0\}^\{n\}\\left(y\_\{i\}-\\bar\{y\}\\right)^\{2\}\}=\\frac\{S S R\}\{S S T\}=1-\\frac\{S S E\}\{S S T\} R2(y,y^)=1−∑i=0n(yi−yˉ)2∑i=0n(yi−y^i)2=SSTSSR=1−SSTSSE R 2 ( y , y ^ ) = 1 − ∑ i = 0 n ( y i − y ^ i ) 2 / n ∑ i = 0 n ( y i − y ˉ ) 2 / n = 1 − M S E V a r R^\{2\}(y, \\hat\{y\})=1-\\frac\{\\sum\_\{i=0\}^\{n\}\\left(y\_\{i\}-\\hat\{y\}\_\{i\}\\right)^\{2\} / n\}\{\\sum\_\{i=0\}^\{n\}\\left(y\_\{i\}-\\bar\{y\}\\right)^\{2\} / n\}=1-\\frac\{\\mathrm\{MSE\}\}\{\\mathrm\{Var\}\} R2(y,y^)=1−∑i=0n(yi−yˉ)2/n∑i=0n(yi−y^i)2/n=1−VarMSE ##

R Squared又叫决定系数(coefficient of determination)也叫拟合优度,反映因变量的全部变异能通过回归关系被自变量解释的比例.越接近于1,说明模型拟合得越好.

分子就变成了常用的评价指标均方误差MSE，分母就变成了方差。

对于 R2\_score可以通俗地理解为使用均值作为误差基准，看预测误差是否大于或者小于均值基准误差。

*  R2\_score = 1，样本中预测值和真实值完全相等，没有任何误差，表示回归分析中自变量对因变量的解释越好。
 *  R2\_score = 0。此时分子等于分母，样本的每项预测值都等于均值。
 *  R2\_score不是r的平方，也可能为负数(分子>分母)，模型等于盲猜，还不如直接计算目标变量的平均值。此时数据不存在任何线性相关关系。

## 10、修正决定系数（调整后R平方）：判断你的模型里该不该加入你想加进来的自变量 R ˉ 2 = 1 − R S S / ( n − k − 1 ) T S S / ( n − 1 ) \\bar\{R\}^\{2\}=1-\\frac\{R S S /(n-k-1)\}\{T S S /(n-1)\} Rˉ2=1−TSS/(n−1)RSS/(n−k−1) ##

如果两个模型的样本数量和决定系数都相同，变量个数越少说明拟合效果越好。

修正决定系数相当于给变量的个数加惩罚项。考虑到SSE的自由度为n-p-1，SST的自由度为n-1，修正决定系数设置为

R ˉ 2 = 1 − S S E / ( n − p − 1 ) S S T / ( n − 1 ) = 1 − S S E S S T ( n − 1 ) ( n − p − 1 ) = 1 − ∑ i = 1 n ( y i − y ^ i ) 2 ∑ i = 1 n ( y i − y ˉ ) 2 n − 1 n − P − 1 = 1 − ( 1 − R 2 ) n − 1 n − P − 1 \\bar\{R\}^\{2\}=1-\\frac\{S S E /(n-p-1)\}\{S S T /(n-1)\}=1-\\frac\{S S E\}\{S S T\} \\frac\{(n-1)\}\{(n-p-1)\}=1-\\frac\{\\sum\_\{i=1\}^\{n\}\\left(y\_\{i\}-\\hat\{y\}\_\{i\}\\right)^\{2\}\}\{\\sum\_\{i=1\}^\{n\}\\left(y\_\{i\}-\\bar\{y\}\\right)^\{2\}\} \\frac\{n-1\}\{n-P-1\}=1-\\left(1-R^\{2\}\\right) \\frac\{n-1\}\{n-P-1\} Rˉ2=1−SST/(n−1)SSE/(n−p−1)=1−SSTSSE(n−p−1)(n−1)=1−∑i=1n(yi−yˉ)2∑i=1n(yi−y^i)2n−P−1n−1=1−(1−R2)n−P−1n−1  
n是样本数量，p是变量个数

调整后R平方的作用就是**判断你的模型里该不该加入你想加进来的自变量**。如果调整后R平方和R方差异较大，证明你的模型里加入了很多没有用的变量。**调整后R平方没有实际含义**！

R平方表示模型的解释程度，核心还是因为SSR代表着回归模型的解释变异程度，之所以除以SST只是为了进行标准化，使得R平方有一个固定的值域，便于比较。

当增加一个对Y有较大影响的解释变量时，残差平方和RSS的减小比(n -k-1)的减小程度更大，校正的决定系数就会变大。若增加一个对Y没有多大影响的解释变量，则残差平方和即便减小也没有(n-k -1)的减小明显，校正的决定系数就会变小，表明不应该引入这个变量。

# 三、python代码(代码待更新中) #

def mean_squared_error(y_true, y_predict):
        """计算y_true和y_predict之间的MSE"""
        assert len(y_true) == len(y_predict), \
            "the size of y_true must be equal to the size of y_predict"
     
        return np.sum((y_true - y_predict)**2) / len(y_true)
     
     
    def root_mean_squared_error(y_true, y_predict):
        """计算y_true和y_predict之间的RMSE"""
     
        return sqrt(mean_squared_error(y_true, y_predict))
     
     
    def mean_absolute_error(y_true, y_predict):
        """计算y_true和y_predict之间的RMSE"""
        assert len(y_true) == len(y_predict), \
            "the size of y_true must be equal to the size of y_predict"
     
        return np.sum(np.absolute(y_true - y_predict)) / len(y_true)
     
     
    def r2_score(y_true, y_predict):
        """计算y_true和y_predict之间的R Square"""
     
        return 1 - mean_squared_error(y_true, y_predict)/np.var(y_true)

sklearn

from sklearn.metrics import mean_absolute_error
    mean_absolute_error(y_test, y_pred)
    
    from sklearn.metrics import mean_squared_error
    mean_squared_error(y_test, y_pred)
    
    from sklearn.metrics import r2_score
    r2_score(y_test, y_pred)
    
    # RMSE
    np.sqrt(metrics.mean_squared_error(y_true, y_pred))