为什么ROC曲线不受样本不均衡问题的影响

我就是我 2022-05-14 02:58 209阅读 0赞

在对分类模型的评价标准中，除了常用的错误率，精确率，召回率和F1度量外，还有两类曲线：ROC曲线和PR曲线，它们都是基于混淆矩阵，在不同分类阈值下两个重要量的关系曲线。

在二分类问题中，分类器将一个实例分类为正样本和负样本，全部分类样本可以用一个混淆矩阵来表示。混淆矩阵有四个分类，如下表:

![这里写图片描述][70]

对于PR曲线，它是精确率（precision，简称P）和召回率（Recall，简称R）的关系曲线，计算式如下：

P=TPTP\+FP,R=TPTP\+FN  P = T P T P + F P , R = T P T P + F N  (1)

对于ROC曲线，它是“真正例率”(True Positive Rate, 简称TPR)，横轴是“假正例率”(False Positive Rate,简称FPR)的关系曲线，计算式如下：

TPR=TPTP\+FN,FPR=FPFP\+TN  T P R = T P T P + F N , F P R = F P F P + T N  (2)

真正例率是在所有正例中，你将多少预测为了正例，这是你希望最大化的，也可以看作收益；假正例率是在所有负例中，你又将多少预测为了正例，这是你希望最小化的，也可以看作代价。

从公式(2)和表中可以看出，**TPR考虑的是第一行，实际都是正例，FPR考虑的是第二行，实际都是负例**。因此，在正负样本数量不均衡的时候，比如负样本的数量增加到原来的10倍，那TPR不受影响，FPR的各项也是成比例的增加，并不会有太大的变化。因此，在样本不均衡的情况下，同样ROC曲线仍然能较好地评价分类器的性能，这是ROC的一个优良特性，也是为什么一般ROC曲线使用更多的原因。

而看公式(1)和表，精确率P考虑的是第一列，实际中包括正例和负例，因此，正负样本数量的变化会引起该值的变化，进而影响PR曲线对分类器的评价。

下图是ROC曲线和PR曲线的对比：

![这里写图片描述][70 1]

a,c为ROC曲线，b,d为PR曲线。(a)和(b)展示的是分类其在原始测试集(正负样本分布平衡)的结果，(c)(d)是将测试集中负样本的数量增加到原来的10倍后，分类器的结果，可以明显的看出，ROC曲线基本保持原貌，而PR曲线变化较大。

[70]: /images/20220514/830855dd15824b34a60b232c6efc1b25.png
[70 1]: /images/20220514/0f29a01a7a4c4de49f6c312f47217fa6.png

发表评论取消回复

表情：

评论列表（有 0 条评论，209人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python解决数据样本类别分布不均衡问题

所谓不平衡指的是：不同类别的样本数量差异非常大。数据规模上可以分为大数据分布不均衡和小数据分布不均衡。大数据分布不均衡：例如拥有1000万条记录的数据集中，其中占比50万条

╰半橙微兮°/ 2023年06月02日 08:30/ 0 赞/ 38 阅读

相关 matlab绘制roc曲线,手把手画ROC曲线

假设现在有一个二分类问题，先引入两个概念：真正例率(TPR)：正例中预测为正例的比例假正例率(FPR)：反例中预测为正例的比例再假设样本数为6，现在有一个分类器1，它对

╰+哭是因爲堅強的太久メ/ 2023年01月14日 03:58/ 0 赞/ 196 阅读

相关样本不均衡及其解决办法

1 什么是类别不均衡类别不平衡（class-imbalance），也叫数据倾斜，数据不平衡，是指分类任务中不同类别的训练样例数目差别很大的情况。在现实的分类学习任务

女爷i/ 2022年09月17日 05:22/ 0 赞/ 309 阅读

相关 ROC曲线详解

最近学习遇到这个概念，看了半天总算明白了这个曲线的意义。 —————————————————————————————————分割线 1 ROC曲线的概念受试者工作特征曲

你的名字/ 2022年05月26日 05:58/ 0 赞/ 274 阅读

相关为什么ROC曲线不受样本不均衡问题的影响

在对分类模型的评价标准中，除了常用的错误率，精确率，召回率和F1度量外，还有两类曲线：ROC曲线和PR曲线，它们都是基于混淆矩阵，在不同分类阈值下两个重要量的关系曲线。在二

我就是我/ 2022年05月14日 02:58/ 0 赞/ 210 阅读

相关正负样本不均衡的解决办法

机器学习中，最重要的一个过程就是模型训练，但是在做模型训练之前需要对数据进行预处理也就是常见的数据清洗和特征工程。数据清洗过程中，比较重要的一步就是查看正负样本是否均衡。

素颜马尾好姑娘i/ 2022年04月24日 03:48/ 0 赞/ 272 阅读

相关 ROC曲线

![1365347967_7947.jpg][] ![1365348000_5956.jpg][] ![1365348016_7395.jpg][] ![13653480

短命女/ 2022年04月10日 09:26/ 0 赞/ 297 阅读

相关 ROC、AUC曲线

一 roc曲线 1、roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。横轴：

客官°小女子只卖身不卖艺/ 2022年04月06日 19:14/ 0 赞/ 282 阅读

相关机器学习：不均衡样本情况下的抽样

题目在分类问题中,我们经常会遇到正负样本数据量不等的情况,比如正样本为10w条数据,负样本只有1w条数据,以下最合适的处理方法是( )（多选） A. 将负样本重复10

青旅半醒/ 2022年04月03日 06:50/ 0 赞/ 276 阅读

相关 Roc曲线、AUC

1 概述　　AUC（Area Under roc Curve）是一种用来度量分类模型好坏的一个标准。这样的标准其实有很多，例如：大约10年前在machine lear

梦里梦外;/ 2022年01月28日 02:55/ 0 赞/ 325 阅读