机器学习评价指标

清疚 2023-05-28 14:15 24阅读 0赞

\`机器学习中，模型评估指标是指对于一个模型结果的数据型量化

**分类算法常见评估指标：**  
对于二类分类器/分类算法，评价指标主要有accuracy， \[Precision，Recall，F-score，Pr曲线\]，ROC-AUC曲线。  
对于多类分类器/分类算法，评价指标主要有accuracy， \[宏平均和微平均，F-score\]。

**回归预测类常见的评估指标：**

平均绝对误差（Mean Absolute Error，MAE），均方误差（Mean Squared Error，MSE），平均绝对百分误差（Mean Absolute Percentage Error，MAPE），均方根误差（Root Mean Squared Error）， R2（R-Square）。具体如下

平均绝对误差  
平均绝对误差（Mean Absolute Error，MAE）:平均绝对误差，其能更好地反映预测值与真实值误差的实际情况，其计算公式如下：  
 M A E = 1 N ∑ i = 1 N ∣ y i − y i ∧ ∣ MAE = \\frac\{1\}\{N\}\\sum\\limits\_\{ \{\\rm\{i = 1\}\}\}^N \{ \{\\rm\{|\}\}\{ \{\\rm\{y\}\}\_\{\\rm\{i\}\}\}\{\\rm\{ - \}\}\\mathop \{ \{ \{\\rm\{y\}\}\_\{\\rm\{i\}\}\}\}\\limits^ \\wedge \{\\rm\{|\}\}\} MAE=N1i=1∑N∣yi−yi∧∣  
均方误差  
均方误差（Mean Squared Error，MSE）,均方误差,其计算公式为：  
 M S E = 1 N ∑ i = 1 N y i − y i ∧ 2 MSE = \\frac\{1\}\{N\}\\sum\\limits\_\{ \{\\rm\{i = 1\}\}\}^N \{ \{ \{\\rm\{y\}\}\_\{\\rm\{i\}\}\}\{\\rm\{ - \}\}\\mathop \{ \{ \{\\rm\{y\}\}\_\{\\rm\{i\}\}\}\}\\limits^ \\wedge \{^\{\\rm\{2\}\}\}\} MSE=N1i=1∑Nyi−yi∧2  
均方根误差（RMSE）  
RMSE（Root Mean Squard Error）均方根误差。  
 R M S E = 1 N ∑ i = 1 N y i − y i ∧ 2 RMSE = \\sqrt \{\\frac\{1\}\{N\}\\sum\\limits\_\{ \{\\rm\{i = 1\}\}\}^N \{ \{ \{\\rm\{y\}\}\_\{\\rm\{i\}\}\}\{\\rm\{ - \}\}\\mathop \{ \{ \{\\rm\{y\}\}\_\{\\rm\{i\}\}\}\}\\limits^ \\wedge \{^\{\\rm\{2\}\}\}\} \} RMSE=N1i=1∑Nyi−yi∧2  
残差平方和R² （ R Squared）  
 R 2 = 1 − ∑ i = 1 N y i − y i ∧ 2 ∑ i = 1 N y i − y i ‾ 2 \{R^\{\\rm\{2\}\}\} = \{\\rm\{1 - \}\}\\frac\{ \{\\sum\\limits\_\{ \{\\rm\{i = 1\}\}\}^N \{ \{ \{\\rm\{y\}\}\_\{\\rm\{i\}\}\}\{\\rm\{ - \}\}\\mathop \{ \{ \{\\rm\{y\}\}\_\{\\rm\{i\}\}\}\}\\limits^ \\wedge \{^\{\\rm\{2\}\}\}\} \}\}\{ \{\\sum\\limits\_\{ \{\\rm\{i = 1\}\}\}^N \{ \{ \{\\rm\{y\}\}\_\{\\rm\{i\}\}\}\{\\rm\{ - \}\}\\overline \{ \{ \{\\rm\{y\}\}\_i\}\} \{^\{\\rm\{2\}\}\}\} \}\} R2=1−i=1∑Nyi−yi2i=1∑Nyi−yi∧2

#回归指标代码
    
    import numpy as np
    from sklearn import metrics
    #MAPE需要自己定义
    def mape(y_true, y_pred):
        return np.mean(np.abs((y_pred - y_true) / y_true))
        
    y_true = np.array([1.0, 5.0, 4.0, 3.0, 2.0, 5.0, -3.0])
    y_pred = np.array([1.0, 4.5, 3.8, 3.2, 3.0, 4.8, -2.2])
    
    # MSE
    print('MSE:',metrics.mean_squared_error(y_true, y_pred))
    # RMSE
    print('RMSE:',np.sqrt(metrics.mean_squared_error(y_true, y_pred)))
    # MAE
    print('MAE:',metrics.mean_absolute_error(y_true, y_pred))
    # MAPE
    print('MAPE:',mape(y_true, y_pred))

#分类指标代码
    
    ## accuracy
    import numpy as np
    from sklearn.metrics import accuracy_score
    y_pred = [0, 1, 0, 1]
    y_true = [0, 1, 1, 1]
    print('ACC:',accuracy_score(y_true, y_pred))
    
    ## Precision,Recall,F1-score
    from sklearn import metrics
    y_pred = [0, 1, 0, 0]
    y_true = [0, 1, 0, 1]
    print('Precision',metrics.precision_score(y_true, y_pred))
    print('Recall',metrics.recall_score(y_true, y_pred))
    print('F1-score:',metrics.f1_score(y_true, y_pred))
    
    ## AUC
    import numpy as np
    from sklearn.metrics import roc_auc_score
    y_true = np.array([0, 0, 1, 1])
    y_scores = np.array([0.1, 0.4, 0.35, 0.8])
    print('AUC socre:',roc_auc_score(y_true, y_scores))