非均衡分类问题

╰+哭是因爲堅強的太久メ 2022-08-05 16:25 186阅读 0赞

通常情况下，我们直接使用分类结果的错误率就可以做为该分类器的评判标准了，但是当在分类器训练时正例数目和反例数目不相等时，这种评价标准就会出现问题。这种现象也称为非均衡分类问题。此时有以下几个衡量标准。

下面首先通过一副图来说明TP，FP，FN和TN的概念：

![Center][]

从图中可以看出形象的解释就是TP为预测为1而真实情况也为1的样本数量，FP为预测为1而真实情况为0的样本数量，FN为预测为0而真实情况为1的样本数量，TN为预测为0而真实情况为0的样本数量。

(1) 正确率<precise>和召回率<Recall>

如下图所示：其中准确率指预测的真实正例占所有真实正例的比例，等于TP/(TP+FP)，而召回率指预测的真实正例占所有真实正例的比例，等于TP/(TP+FN)。通常我们可以很容易的构照一个高正确率或高召回率的分类器，但是很难同时保证两者成立。如果任何样本都被判为了正例，那么召回率达到百分之百而此时准确率很低。构建一个同时使正确率和召回率最大的分类器是具有挑战性的。此时我们可以用F-Score =precise\*recall/(precise+ recall) 这个量来衡量，越大越好。

(2) ROC曲线

![SouthEast][]

![SouthEast 1][]

AUC计算工具：

[http://mark.goadrich.com/programs/AUC/][http_mark.goadrich.com_programs_AUC]

**\[python\]** [view plain][] [copy][view plain] [print][view plain] [?][view plain] [![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  **def** plotROC(predStrengths, classLabels): 
2.  **import** matplotlib.pyplot as plt 
3.   cur = (1.0,1.0) \#cursor
4.   ySum = 0.0\#variable to calculate AUC
5.   numPosClas = sum(array(classLabels)==1.0) 
6.   yStep = 1/float(numPosClas); xStep = 1/float(len(classLabels)-numPosClas) 
7.   sortedIndicies = predStrengths.argsort()\#get sorted index, it's reverse
8.   fig = plt.figure() \#这三行代码用于构建画笔
9.   fig.clf() 
10.  ax = plt.subplot(111) 
11. \#loop through all the values, drawing a line segment at each point
12. **for** index **in** sortedIndicies.tolist()\[0\]: 
13. **if** classLabels\[index\] == 1.0: 
14.  delX = 0; delY = yStep; 
15. **else**: 
16.  delX = xStep; delY = 0; 
17.  ySum += cur\[1\] 
18. \#draw line from cur to (cur\[0\]-delX,cur\[1\]-delY)
19.  ax.plot(\[cur\[0\],cur\[0\]-delX\],\[cur\[1\],cur\[1\]-delY\], c='b') 
20.  cur = (cur\[0\]-delX,cur\[1\]-delY) 
21.  ax.plot(\[0,1\],\[0,1\],'b--') 
22.  plt.xlabel('False positive rate'); plt.ylabel('True positive rate') 
23.  plt.title('ROC curve for AdaBoost horse colic detection system') 
24.  ax.axis(\[0,1,0,1\]) 
25.  plt.show() 
26. **print**"the Area Under the Curve is: ",ySum\*xStep

![SouthEast 2][]

参考ROC文档：1：http://blog.csdn.net/abcjennifer/article/details/7359370

2：http://zh.wikipedia.org/wiki/ROC%E6%9B%B2%E7%BA%BF

作者：小村长  出处：http://blog.csdn.net/lu597203933 欢迎转载或分享，但请务必声明文章出处。 （新浪微博：小村长zack, 欢迎交流！）

[Center]: /images/20220806/0d48fa6b0b594cefbf6921b3a1ee35d0.png
[SouthEast]: /images/20220806/5774e5910cd64e169196a7e065f897ad.png
[SouthEast 1]: /images/20220806/67f61400f88f4a78b7327d7a7fcde26a.png
[http_mark.goadrich.com_programs_AUC]: http://mark.goadrich.com/programs/AUC/
[view plain]: http://blog.csdn.net/lu597203933/article/details/38666699#
[CODE]: https://code.csdn.net/assets/CODE_ico.png
[CODE_CODE]: https://code.csdn.net/snippets/453413
[ico_fork.svg]: https://code.csdn.net/assets/ico_fork.svg
[ico_fork.svg 1]: https://code.csdn.net/snippets/453413/fork
[SouthEast 2]: /images/20220806/fe11eadd34bb4022970fc208e0129306.png