class average accuracy, accuracy ,precision ,recall 机器学习基础评价标准

怼烎@ 2022-05-09 01:08 236阅读 0赞

这几个评价标准非常容易弄混与想当然。认真看哈，很重要。

对于室内场景，或者是任何带类别的识别任务，都会有class average accuracy. 大家想当然的翻译成类平均识别率，就会和precision搞混。而且又因为它带一个accuracy，所以会和accuracy搞混。

![70][]

# precision #

认准率。通俗来讲就是你认出来的，有多少人对了。举个例子，你家有一只狗，还有两瓶啤酒，两份报纸，一双拖鞋，也就是两只拖鞋（样本总量为6）。你对你家狗狗说去给我把整个屋子里面的啤酒都拿过来。然后它给你叼过来两瓶啤酒，一份报纸，一只拖鞋，这时狗狗的precision是50%，它认为是啤酒的四个物品中只有一个是。然后你和你家猫说去给我把烟叼过来，它赏你一个白眼。主子的precision是零。

这个指标反应了你的可信度，比如让家用机器人把降压药拿过来，他一定不能错，他可以不把家里全部的降压药都拿过来，但是他要保证拿过来必须是降压药。降压药的precision一定要是100%。

# recall #

召回率，通俗来讲就是有多少东西被你找到了。还是刚才的猫狗例子。你对你家狗说去给我把整个屋子里面的啤酒都拿过来。然后它给你叼过来两瓶啤酒，一卷卫生纸，一只拖鞋，你喝完了这两瓶啤酒，觉得你家狗狗太笨，就拿来这么点。你决定亲自去。你打开冰箱，发现冰箱里真的就两瓶啤酒，你瞬间热泪盈眶，原来你家狗狗把它能找到的都给你叼过来了。狗狗对啤酒的recall就是100%。总共就两瓶啤酒，都被狗狗认出来了。

你和你家猫说去给我把烟叼过来，它赏你一个白眼。你对主子无可奈何，只能自己去找，然后找遍房子都没有，这时你家肥猫移动尊臀，从茶几上挪到了窝里打算睡觉。你发现你找了5分钟的烟，就在肥猫的屁股底下。你家肥猫对烟的召回率也是零。

这个指标反应了你能不能最大程度上把目标全找到。比如警察用智能软件筛查一群嫌疑犯，那么，必须一个不剩的都被采集到，即便是有一些良民被智能软件认为是嫌疑犯也无所谓，嫌疑犯的recall必须是100%

# class average accuracy #

论文中必出现的一个标准（人脸肯定没有，你见过给人脸分类的？）。本质来讲是类平均召回率。计算方法是对每一类的**召回率**求个平均值，很简单吧。你让你家狗狗给你拿报纸。它给你拿了一份报纸，一罐啤酒，一只拖鞋。但你家门口有三份报纸，第一份被它当作是啤酒给你了。狗狗昨天对啤酒的召回率是100%，但是对于报纸表现不佳，对报纸的召回率只有33.3%你和狗狗要拖鞋，狗狗给了你一份报纸，狗狗对报纸的召回率是0。那么，你家狗狗对啤酒，报纸，拖鞋的class average accuracy就是(100%+33.3%+0)/3=44.4%。

所以我们说，类平均准确率就是平均召回率。千万记住不要和precision，以及accuracy弄混。

# accuracy #

所有正确的样本的总数，除以正确样本的总数。3/7=42.9%.

[70]: /images/20220509/88240cf0624548a2ac43058d1fa69c55.png