简单易懂的ROC曲线和AUC面积

以你之姓@ 2023-02-19 13:25 6阅读 0赞

## 简单易懂的ROC曲线和AUC面积 ##

## 前言 ##

咱们在前面的学习中，对于模型的好坏，我们使用最多的是用精准度来衡量。这对于数据样本类别个数相对均匀来讲，是很好的衡量方法。但是对于数据样本类别极度失衡的情况，比如正样本有1000个，负样本只有10个，使用模型精准度来作为衡量标准就不合适了。接下来，咱们介绍一种新的衡量模型好坏的方法–ROC曲线。

## 什么是ROC曲线和AUC面积 ##

### 1. ROC曲线 ###

ROC，全拼为Receiver Operating Characteristic Curve，意思为受试者工作特征曲线。字面意思我们可能不太好理解，没关系，咱们先看去了解一下下面这个表格：

![image-20200620103053853][]

然后我们基于这个表，有可以得出以下两个指标：

![img][]

\-TPR:真阳性率（true posotive rate），也称灵敏度或正确率，用来反应发现病人的能力。

![img][img 1]

\-FPR：假阳性率(false positive rate),也称为误诊率，解释为实际无病，但是被判定为有病的百分比

下面举个例子来说明一下。假设我们训练了一个识别苹果的模型，共有5个待测试数据集，其中3个是苹果分别是a1，a2，a3；2个是橘子，o1,o2。

将数据集输入到模型中，输出结果为 a1、a2、o1 为苹果，a3、o2不是苹果。

那么，我们此时可以先把表格填写完整：

![image-20200620111119530][]

这样我们就可以得出其真阳性率和假阳性率。

TPR = 2/（2+1）=0.6667

FPR = 1/（1+1）=0.5

所以真阳性率为0.6667，假阳性率为0.5.

从公式上来看，对于模型的期待，我们肯定希望真阳性率越来越高，假阳性率越来越低。

基于此呢，我们引出ROC曲线。

ROC曲线 曾经被用作二战时期的雷达监测，现在多被用在医学诊断和模型评估。

在ROC曲线中，真阳性率TPR 作为坐标轴的Y轴，也就是纵轴。假阳性率作为坐标轴的X轴，也就是横轴。

我们看下面这个图：

![11525720-7eedb3ee87fa4111][]

由于我们希望真阳性率越大越好，假阳性率越小越好，所以我们期待蓝色曲线靠近左上角，这样能够体现我们模型比较优良。

在图像中，我们有两个初始点，（0，0），（0，1）。

（0，0）表示，当TP=0时，即在所有真实确诊病人中，没有一个被检测出来；当FP=0时，即任何一个没有患病的人都没有被检测出来患病，也就是没有出现误诊。

（1，1）表示，TP=TP+FN，即FN为0，也就表示所有真实确诊的病人，都被检测出来了；FP = FP+TN,即TN为0，表示所有没有患病的人，都被检测出有病，即误诊率为100%。

### 2. 如何画ROC曲线 ###

首先我们看再看一眼公式：

![img][img 2]

![img][img 3]

**TP+FN，表示数据中真实患病人数，这个数在同一个数据集中是固定不变的**

**FP+TN，表示数据中，没有患病的的人数，这个数在同一数据集中同样是固定不变的。**

**TP和FP 分别表示 原数据患病预测出来患病和原数据没有并预测出来有病的人数，而且两者的和为预测为患病人数**

还记得我们在线性回归模型中，将数据的概率值按照0.5为界限作为划分，大于0.5的分类1类，小于0.5的分为另一类。

如果我们也指定0.5为界限，那么，我们最终只是得出一个值，而不是许多点构成了曲线。

所以，我们的处理办法是将概率值按照从小到大进行排序，使用每个数据的概率值作为阈值(同上面所说的0.5界限值)，针对当前数据作为划分。由于FPR和TPR的分母都是确定的，如果我们从小到大进行取值作为阈值，如果取到的数据分类原始值为患病，则TP+=1，若原始值不为患病，则FP+=1.

看下面的例子（下面2图参考借鉴别人博客，会在参考资料里给出）：

![11525720-cb0c836e33757b87][]

我们可以画出这样的图：

![format_png][]

这里，我们将x轴坐标的刻度设置为1/(FP+TN),y轴坐标刻度设置为1/(TP+FN)。然后我们遍历从小到大排好序的。每遇到一个原始标签为正类的，就向y轴走一格，遇到非正类的，就向x轴走一格。

### 3. AUC面积 ###

我们到现在已经直到如何画ROC曲线了，而且我们也知道，曲线越靠近左上角，模型越好，但是如果我们遇到下面的图，如何去判断呢？

![f11f3a292df5e0feaafde78c566034a85fdf7251][]

这里共有三种模型，各个ROC曲线相互交错着，我们很难一眼看出谁更优秀。这时候，我们需要一个指标去进行比较。这个指标就是AUC，全称为：Area Under Curve，曲线下方的面积。

没错，我们使用曲线下方的面积值来作为指标去判定模型的优良程度。

我们可以把曲线下面的面积看作一个一个小长方形面积的和，并且这些长方体的宽度是一样的，而且之和为x轴的长度1，所以AUC面积=(各个点小长方形的高度之和)x(x轴刻度值1/(FP+TN))。

**AUC判断分类器的优劣标准：**

*  AUC = 1，是完美分类器。
 *  AUC = \[0.85, 0.95\], 效果很好
 *  AUC = \[0.7, 0.85\], 效果一般
 *  AUC = \[0.5, 0.7\],效果较低，但用于预测股票已经很不错了
 *  AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。
 *  AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。

## 如何在代码中实现画出ROC曲线和计算AUC面积 ##

我们先看我们所种画出的这个图：

![image-20200620143420298][]

这个图只是为了给大家演示如何用代码进行绘画，并没有用具体哪个分类模型。大家可以根据我提供的思路，稍加修改就可以了。

*  初始化变量：

def plotROC(predStrengths,classLabels):
        cur = (0.0,0.0)
        ySum = 0.0
        numPosClas = np.sum(np.array(classLabels)==1.0)
        yStep = 1/float(numPosClas)
        xStep = 1/float(len(classLabels)-numPosClas)
        sortedIndicies = list(predStrengths.argsort())
        sortedIndicies.sort(reverse=True)
        fig = plt.figure()
        fig.clf()
        ax = fig.add_subplot(111)

1.  plotROC 函数的两个参数分别是数据所属1类的概率值，数据的标签值
2.  cur 是初始化点
3.  ySum 用来统计所有小长方体的和，方面计算AUC面积
4.  numPosClas 统计数据中分类为1的数据个数
5.  yStep = 1/float(numPosClas) y轴的刻度值
6.  xStep = 1/float(len(classLabels)-numPosClas) x轴的刻度值。(len(classLabels)-numPosClas 为数据中非1类的个数
7.  sortedIndicies = list(predStrengths.argsort()) 将数据所属1类的概率值的索引值从小到大进行排序，并转化成列表
8.  sortedIndicies.sort(reverse=True)将列表进行逆序，也就是此时列表中的索引值是按照概率值的从大到小进行排序的。
9.  最后3行代码是初始化画板

*  重要的for循环画图

for index in sortedIndicies:
        if classLabels[index]==1:
            addX = 0
            addY = yStep
        else:
            addX = xStep
            addY=0
            ySum+=cur[1]
        ax.plot([cur[0],cur[0]+addX],[cur[1],cur[1]+addY],c='r')
        print("ystep,xstep",yStep,xStep)
        cur = (cur[0]+addX,cur[1]+addY)

1.  对存有数据分类概率值的索引值的sortedIndicies进行遍历
2.  如果其索引在原数据中所对应的数据属于1类，即符合前面表格的TP数据，则更新 addX=0，addY=yStep。也就是将当前点向y轴走一个刻度
3.  如果不属于1类，则 addX=xstep，addY=0.也就是将当前点向x轴走一个刻度。并且再添加该小长方形的高度到ySum中。
4.  画出变化的直线段，使用红色线段表示
5.  更新cur的值。

*  其他一些显示的补充

ax.plot([0,1],[0,1],'b--')
    plt.xlabel('False Positive Rate')
    plt.ylabel('True Positive Rate')
    plt.title('Roc curve for AdaBoost Horse Colic Detection System')
    #ax.axis([0,1,0,1])
    plt.show()
    print('the Area Under the Curve is :',ySum*xStep)

1.  补充一些x轴、y轴标题的一些信息
2.  最后直接用ySum乘以xStep即可计算这个图形的面积，即AUC面积。

*  main方法的调用

if __name__ == '__main__':
        dataMat,classLabels = loadSimpData()
        traindata = np.mat(dataMat[:80]);trainclasslabels = np.array(classLabels[:80])
        predStrengths = np.array([i/10 for i in range(1,80)])
        plotROC(predStrengths,trainclasslabels)

这里我创建了一个列表，范围是从0.1-0.8，刻度值为0.01，以此来模拟数据分类概率值。

大家可以将predStrengths的数据换成你模型计算出来的值，无论是0-1的格式化过的概率值 还是没有经过格式化大于1的数，都是可以的。

## 总结 ##

不知道大家有没有看明白，如果哪里有问题的话，可以博客下留言。或者如果有不会改的，也可以留言，我看到了一定会回复的。

[image-20200620103053853]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy9pbWFnZS0yMDIwMDYyMDEwMzA1Mzg1My5wbmc?x-oss-process=image/format,png
[img]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy93cHM0LnBuZw?x-oss-process=image/format,png
[img 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy93cHMzLnBuZw?x-oss-process=image/format,png
[image-20200620111119530]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyMDIwMTIwMy5wbmc?x-oss-process=image/format,png
[11525720-7eedb3ee87fa4111]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyMDIwMTIyNS5qcGc?x-oss-process=image/format,png
[img 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyMDIwMTIzNS5wbmc?x-oss-process=image/format,png
[img 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyMDIwMTI0MS5wbmc?x-oss-process=image/format,png
[11525720-cb0c836e33757b87]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyMDIwMTI0OC5wbmc?x-oss-process=image/format,png
[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyMDIwMTMyNi5wbmc?x-oss-process=image/format,png
[f11f3a292df5e0feaafde78c566034a85fdf7251]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyMDIwMTI1OS5qcGc?x-oss-process=image/format,png
[image-20200620143420298]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vemhlbnhpbmc4Ny9pbWFnZXN0b3Jlcy9yYXcvbWFzdGVyL2ltZy8yMDIwMDYyMDIwMTMwMC5wbmc?x-oss-process=image/format,png