机器学习——混淆矩阵、Precison、Recall、Accuracy、F1-score的使用

我就是我 2023-09-29 09:56 4阅读 0赞

假设有10个样本，属于A、B、C三个类别。假设这10个样本的真实类别和预测的类别分别是：

真实：A A A C B C A B B C

预测：A A C B A C A C B C

（1） 求出混淆矩阵。

（2）求出每个类别的P, R, 和F1。

草稿纸解：

略····

直接套公式即可，可以看以下文章中的混淆矩阵部分。

[机器学习——分类评价指标\_猿\_同学的博客-CSDN博客ROC是一个用于度量分类中的非均衡性的工具，ROC曲线及AUC常被用来评价一个二值分类器的优劣。为什么要使用ROC和AUC呢？因为，在实际的数据集中经常会出现类别不平衡现象，即女性本比男性样本多很多（或者相反），而且测试数据中的男女样本的分布也可能随着时间而变化。而在这种情况下，ROC曲线能够保持不变。![favicon32.ico][]https://blog.csdn.net/qq\_21402983/article/details/124106002][-CSDN_ROC_ROC_AUC_ROC_AUC_ROC_favicon32.ico_https_blog.csdn.net_qq_21402983_article_details_124106002]

代码解：

import pandas as pd
    from sklearn.metrics import classification_report,confusion_matrix
    
    y_test=pd.DataFrame(['A' ,'A', 'A', 'C', 'B', 'C', 'A', 'B' ,'B', 'C'])
    y_pred=pd.DataFrame(['A' ,'A', 'C', 'B', 'A', 'C', 'A', 'C', 'B', 'C'])
    print(confusion_matrix(y_test,y_pred))
    print(metrics.classification_report(y_test,y_pred))

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16][]

print("查准率：",metrics.precision_score(y_test,y_pred,average=None))
    print("召回率：",metrics.recall_score(y_test,y_pred,average=None))
    print("F1分数：",metrics.f1_score(y_test,y_pred,average=None))

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

--------------------

**笔记：**

**当我想单独输出各个指标时报错：**

print("查准率：",metrics.precision\_score(y\_test,y\_pred))  
print("召回率：",metrics.recall\_score(y\_test,y\_pred))  
print("F1分数：",metrics.f1\_score(y\_test,y\_pred))

ValueError: Target is multiclass but average='binary'. Please choose another average setting, one of \[None, 'micro', 'macro', 'weighted'\].

**解决办法**  
原代码基础上添加了average=‘micro’。

f**rom sklearn.metrics import precision\_score, recall\_score**

**precision\_score(y\_train, y\_train\_pred, average='micro')**

average参数定义了该指标的计算方法，二分类时average参数默认是binary；多分类时，可选参数有micro、macro、weighted和samples。

**None：**返回每个班级的分数。否则，这将确定对数据执行的平均类型。

**binary：**仅报告由指定的类的结果pos\_label。仅当targets（y\_\{true,pred\}）是二进制时才适用。

**micro：**通过计算总真阳性，假阴性和误报来全球计算指标。也就是把所有的类放在一起算（具体到precision），然后把所有类的TP加和，再除以所有类的TP和FN的加和。因此micro方法下的precision和recall都等于accuracy。

**macro：**计算每个标签的指标，找出它们的未加权平均值。这不会考虑标签不平衡。也就是先分别求出每个类的precision再求其算术平均。

**weighted：**计算每个标签的指标，并找到它们的平均值，按支持加权（每个标签的真实实例数）。这会改变“宏观”以解决标签不平衡问题; 它可能导致F分数不在精确度和召回之间。

**samples：**计算每个实例的指标，并找出它们的平均值（仅对于不同的多标记分类有意义 accuracy\_score）。

参考：https://blog.csdn.net/datongmu\_yile/article/details/81750737

[favicon32.ico]: https://g.csdnimg.cn/static/logo/favicon32.ico
[-CSDN_ROC_ROC_AUC_ROC_AUC_ROC_favicon32.ico_https_blog.csdn.net_qq_21402983_article_details_124106002]: https://blog.csdn.net/qq_21402983/article/details/124106002
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/a3d6e966b3504e2da65a66ded756ad19.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54y_X-WQjOWtpg==,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54y_X-WQjOWtpg_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/dc32394eb91b4c8490aba0a741d8b72f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54y_X-WQjOWtpg==,size_20,color_FFFFFF,t_70,g_se,x_16