如何使用 PRROC 画 ROC 曲线

电玩女神 2022-10-30 14:29 262阅读 0赞

### 1. 什么是ROC 曲线？ ###

1.1 曲线的横纵轴

[sensitivity][], [recall][], [hit rate][], or [true positive rate][sensitivity] (TPR)

TPR = TP/P = TP/(TP + FN)

[fall-out][] or [false positive rate][fall-out] (FPR)

FPR = FP/N = FP/(FP + TN)

1.2 ROC曲线：wiki

在[信号检测理论][Link 1]中，**接收者操作特征曲线**（**receiver operating characteristic curve**，或者叫**ROC曲线**）是一种坐标图式的分析工具，用于 (1) 选择最佳的信号侦测模型、舍弃次佳的模型。 (2) 在同一模型中设定最佳[阈值][Link 2]。

设置不同的阈值，可以得到不同的TPR和FPR

*  **当阈值设定为最高时**，亦即所有样本都被预测为阴性，**没有样本被预测为阳性**，此时在伪阳性率 FPR = FP / ( FP + TN ) 算式中的 FP = 0，所以 FPR = 0%。同时在真阳性率（TPR）算式中， TPR = TP / ( TP + FN ) 算式中的 TP = 0，所以 TPR = 0%

→ **当阈值设定为最高时，必得出ROC座标系左下角的点 (0, 0)。**

*  **当阈值设定为最低时**，亦即所有样本都被预测为阳性，**没有样本被预测为阴性**，此时在伪阳性率FPR = FP / ( FP + TN ) 算式中的 TN = 0，所以 **FPR = 100%**。同时在真阳性率 TPR = TP / ( TP + FN ) 算式中的 FN = 0，所以 **TPR=100%**

→ **当阈值设定为最低时，必得出ROC座标系右上角的点 (1, 1)。**

*  因为TP、FP、TN、FN都是累积次数，TN和FN随着阈值调低而减少（或持平），TP和FP随着阈值调低而增加（或持平），所以FPR和TPR皆必随着阈值调低而增加（或持平）。

→ **随着阈值调低，ROC点** 往右上（或右／或上）移动，或不动；但**绝不会往左下(或左／或下)移动**。

1.3 AUC值是什么？它的意义是什么？

AUC值就是正样本排在负样本前面的几率（When using normalized units, the area under the curve (often referred to as simply the AUC) is equal to the probability that a classifier will rank a randomly chosen positive instance higher than a randomly chosen negative one (assuming 'positive' ranks higher than 'negative').[\[17\]][17]）不是特别懂里面提到的公式，可以去wiki里看。

理论上来说当两条ROC曲线重合的时候，我们可以通过他们的AUC大小来判定哪个分类器更好。

所以AUC越大，代表分类器越好。（wiki）

从AUC判断分类器（预测模型）优劣的标准：

* AUC = 1，是完美分类器，采用这个预测模型时，存在至少一个阈值能得出完美预测。绝大多数预测的场合，不存在完美分类器。
 * 0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
 * AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。
 * AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。

### 2. 如何使用PRROC画彩虹ROC曲线？ ###

了解完基础知识后，我们在呈现ROC曲线有多种方式，其中一种就是使用彩虹色来标记阈值，

这样做的好处是：我们可以知道什么养的阈值表现出的sensitivity是什么FPR是什么。

又或者我希望我的真阳率优于假阳率，我们可以通过观察阈值决定，哪个阈值更好。我们的阈值是不是接近0.5。

总结一下：

ROCR和pROC是引用比较多的，紧随其后的是14年新发表的。ROCR 04年就出现了一直都是主力马，尽管没有vignette文档，但是documentation说明文档也很好。

pROC是10年发表的，可以在图里面画出来置信曲线。

PRROC是14年新发表的，有超过前两个老牌软件的趋势，特点是它也可以计算precision-recall曲线

ROCR和PRROC都可以画彩色的ROC图片，这里使用PRROC举例子：

input file

<table> 
 <tbody> 
 <tr> 
 <td> Disease </td> 
 <td> Disease </td> 
 <td> 0.032 </td> 
 <td> 0.968 </td> 
 <td> 2 </td> 
 <td> 4 </td> 
 <td> Fold4 </td> 
 <td> 1 </td> 
 </tr> 
 <tr> 
 <td> 2 </td> 
 <td> Disease </td> 
 <td> Disease </td> 
 <td> 0.096 </td> 
 <td> 0.904 </td> 
 <td> 6 </td> 
 <td> 4 </td> 
 <td> Fold4 </td> 
 <td> 1 </td> 
 </tr> 
 <tr> 
 <td> 3 </td> 
 <td> Control </td> 
 <td> Control </td> 
 <td> 0.850 </td> 
 <td> 0.150 </td> 
 <td> 18 </td> 
 <td> 4 </td> 
 <td> Fold4 </td> 
 <td> 0 </td> 
 </tr> 
 <tr> 
 <td> 4 </td> 
 <td> Disease </td> 
 <td> Control </td> 
 <td> 0.138 </td> 
 <td> 0.862 </td> 
 <td> 21 </td> 
 <td> 4 </td> 
 <td> Fold4 </td> 
 <td> 0 </td> 
 </tr> 
 <tr> 
 <td> 5 </td> 
 <td> Disease </td> 
 <td> Disease </td> 
 <td> 0.088 </td> 
 <td> 0.912 </td> 
 <td> 28 </td> 
 <td> 4 </td> 
 <td> Fold4 </td> 
 <td> 1 </td> 
 </tr> 
 <tr> 
 <td> 6 </td> 
 <td> Disease </td> 
 <td> Disease </td> 
 <td> 0.030 </td> 
 <td> 0.970 </td> 
 <td> 30 </td> 
 <td> 4 </td> 
 <td> Fold4 </td> 
 <td> 1 </td> 
 </tr> 
 <tr> 
 <td> 7 </td> 
 <td> Disease </td> 
 <td> Disease </td> 
 <td> 0.518 </td> 
 <td> 0.482 </td> 
 <td> 31 </td> 
 <td> 4 </td> 
 <td> Fold4 </td> 
 <td> 1 </td> 
 </tr> 
 <tr> 
 <td> 8 </td> 
 <td> Control </td> 
 <td> Control </td> 
 <td> 0.922 </td> 
 <td> 0.078 </td> 
 <td> 41 </td> 
 <td> 4 </td> 
 <td> Fold4 </td> 
 <td> 0 </td> 
 </tr> 
 <tr> 
 <td> 9 </td> 
 <td> Disease </td> 
 <td> Disease </td> 
 <td> 0.356 </td> 
 <td> 0.644 </td> 
 <td> 42 </td> 
 <td> 4 </td> 
 <td> Fold4 </td> 
 <td> 1 </td> 
 </tr> 
 <tr> 
 <td> 10 </td> 
 <td> Disease </td> 
 <td> Disease </td> 
 <td> 0.048 </td> 
 <td> 0.952 </td> 
 <td> 43 </td> 
 <td> 4 </td> 
 <td> Fold4 </td> 
 <td> 1 </td> 
 </tr> 
 <tr> 
 <td> 11 </td> 
 <td> Disease </td> 
 <td> Disease </td> 
 <td> 0.342 </td> 
 <td> 0.658 </td> 
 <td> 49 </td> 
 <td> 4 </td> 
 <td> Fold4 </td> 
 <td> 1 </td> 
 </tr> 
 <tr> 
 <td> 12 </td> 
 <td> Disease </td> 
 <td> Disease </td> 
 <td> 0.030 </td> 
 <td> 0.970 </td> 
 <td> 51 </td> 
 <td> 4 </td> 
 <td> Fold4 </td> 
 <td> 1 </td> 
 </tr> 
 </tbody> 
</table>

code

library(PRROC)
 library(tidyverse)
 # filter the prediction output of model object (rf_forest) from R package caret by using the best tunning 
 
 prediction_df <- filter(rf_forest$pred, mtry == 4)
 
 
 # change the positive group to 1
 (prediction_df 就是我们前面粘贴的表格了）
 
 prediction_df$test <- ifelse(prediction_df$obs == "Disease",1,0 )
 roc_curve_prediction_df <- PRROC::roc.curve(scores.class0 = prediction_df$Disease, weights.class0=prediction_df$test,
 curve=TRUE,rand.compute = TRUE) # rand.compute 是0.5的随机分类器，为了画对角线的
 
 
 #画图
 par(cex.axis=2, cex.lab =1.6,font.axis =1.6)
 plot(roc_curve_prediction_df,rand.plot = TRUE,auc.main=FALSE,legend =4,lwd=5)
 text(1, 0.5, paste('AUC =', ' ',round(roc_curve_prediction_df$auc, digits = 3), sep =""), cex=1.4, font=2, col='black')
 
 
 # 如果想用ggplot2自己画图，可以把这个矩阵提取出来
 
 roc_curve_prediction_df$auc 
 
 # 三列 分别对应 x轴坐标 y轴坐标 阈值颜色

图片示例:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE1MTkwOQ_size_16_color_FFFFFF_t_70][]

可以看到阈值越大，那么sensitivity越小，FPR也越小；阈值越小，sensitivity越大，FPR也越大。

Ref: （感谢下面的帖子！）

[https://rviews.rstudio.com/2019/03/01/some-r-packages-for-roc-curves/][https_rviews.rstudio.com_2019_03_01_some-r-packages-for-roc-curves]

[https://www.jianshu.com/p/c61ae11cc5f6][https_www.jianshu.com_p_c61ae11cc5f6]

[https://en.wikipedia.org/wiki/Receiver\_operating\_characteristic\#Area\_under\_the\_curve][https_en.wikipedia.org_wiki_Receiver_operating_characteristic_Area_under_the_curve]

[https://zh.wikipedia.org/wiki/ROC%E6%9B%B2%E7%BA%BF][https_zh.wikipedia.org_wiki_ROC_E6_9B_B2_E7_BA_BF]

[sensitivity]: https://en.wikipedia.org/wiki/Sensitivity_%28test%29
[recall]: https://en.wikipedia.org/wiki/Precision_and_recall#Recall
[hit rate]: https://en.wikipedia.org/wiki/Hit_rate
[fall-out]: https://en.wikipedia.org/wiki/False_positive_rate
[Link 1]: https://zh.wikipedia.org/wiki/%E4%BF%A1%E5%8F%B7%E6%A3%80%E6%B5%8B%E7%90%86%E8%AE%BA
[Link 2]: https://zh.wikipedia.org/wiki/%E9%98%88%E5%80%BC
[17]: https://en.wikipedia.org/wiki/Receiver_operating_characteristic#cite_note-fawcett-17
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzE1MTkwOQ_size_16_color_FFFFFF_t_70]: /images/20221024/8e2b4e935e0446fe8d283ccf3aed93cb.png
[https_rviews.rstudio.com_2019_03_01_some-r-packages-for-roc-curves]: https://rviews.rstudio.com/2019/03/01/some-r-packages-for-roc-curves/
[https_www.jianshu.com_p_c61ae11cc5f6]: https://www.jianshu.com/p/c61ae11cc5f6
[https_en.wikipedia.org_wiki_Receiver_operating_characteristic_Area_under_the_curve]: https://en.wikipedia.org/wiki/Receiver_operating_characteristic#Area_under_the_curve
[https_zh.wikipedia.org_wiki_ROC_E6_9B_B2_E7_BA_BF]: https://zh.wikipedia.org/wiki/ROC%E6%9B%B2%E7%BA%BF