目标检测指标mAP详解

前言

相信刚刚接触目标检测的小伙伴也是有点疑惑吧，目标检测的知识点和模型属实有点多，想要工作找CV的话，目标检测是必须掌握的方向了。我记得在找实习的时候，面试官就问到了我目标检测的指标是什么，答：mAP！问：mAP是什么？我：.......!☺

所以在本文中我也是详细说一下mAP 的含义，有什么不对的或者不全的欢迎大家指正！

mAP是mean of Average Precision的缩写，意思是平均精确度（average precision）的平均（mean），是object detection中模型性能的衡量标准。object detection中，因为有物体定位框，分类中的accuracy并不适用，因此才提出了object detection独有的mAP指标，但这也导致mAP没有分类中的accuracy那么直观。但也没有那么复杂。首先，简单回顾几个基础概念。

一、查准率（Precision）和查全率（Recall）

查准率：预测所有为正的结果中，真正正确的结果的比例。

查全率：所有正例中被正确预测的比例，即预测正确的覆盖率。

来一张别人总结过的图片：

好的，看得有点懵没关系，大体有个印象就好，后面还会进行总结升华的！

关于IOU的部分在这里我就不多做介绍了，感兴趣的 朋友可以看看我这篇文章：NMS及IOU原理讲解和代码解析

二、一个类别的AP计算

物体检测中的每一个预测结果包含两部分，预测框（bounding box）和置信概率（Pc）。bounding box通常以矩形预测框的左上角和右下角的坐标表示，即x_min, y_min, x_max, y_max，如下图。置信概率Pc有两层意思，一是所预测bounding box的类别，二是这个类别的置信概率，如下图中的P_dog=0.88，代表预测绿色框为dog，并且置信概率为88%。

Rank | BB  | confidence | GT
----------------------------
1    | BB1 |  0.9       | 1
----------------------------
2    | BB2 |  0.8       | 1
----------------------------
3    | BB1 |  0.8       | 1
----------------------------
4    | BB3 |  0.5       | 0
----------------------------
5    | BB4 |  0.4       | 0
----------------------------
6    | BB5 |  0.4       | 1
----------------------------
7    | BB6 |  0.3       | 0
----------------------------
8    | BB7 |  0.2       | 0
----------------------------
9    | BB8 |  0.1       | 1
----------------------------
10   | BB9 |  0.1       | 1
----------------------------

因此，如果设置P_threshold=0，则有 TP=5 (BB1, BB2, BB5, BB8, BB9)，FP=5 (重复检测到的BB1也算FP)。除了表里检测到的5个GT以外，我们还有2个GT没被检测到，因此: FN = 2.

然后依次从上到下设定对应的rank为正反分界线，此rank之前（包含此rank）的预测为正，此rank之后的预测为反，然后计算对应的Precision和Recall：

rank=1  precision=1.00 and recall=0.14
--------------------------------------
rank=2  precision=1.00 and recall=0.29
--------------------------------------
rank=3  precision=0.66 and recall=0.29
--------------------------------------
rank=4  precision=0.50 and recall=0.29
--------------------------------------
rank=5  precision=0.40 and recall=0.29
--------------------------------------
rank=6  precision=0.50 and recall=0.43
--------------------------------------
rank=7  precision=0.43 and recall=0.43
--------------------------------------
rank=8  precision=0.38 and recall=0.43
--------------------------------------
rank=9  precision=0.44 and recall=0.57
--------------------------------------
rank=10 precision=0.50 and recall=0.71
--------------------------------------

比如rank=4时，TP=2 (BB1, BB2)，则

Precision=2/4=0.5，Recall=TP/GT=2/7=0.29

可以看出，随着预测正反分割线的向下移动，Recall稳步变大，Precision整体减小，局部上下跳动，PR曲线如下图：

AP(Average Precision)的计算基本等同于计算PR曲线下的面积，但略有不同。需要先将PR曲线平滑化。方法是，查全率r对应的查准率p，取查全率大于等于r时最大的查准率p。即，

平滑后的曲线如下图中的绿色曲线：

PASCAL VOC挑战赛计算AP的老标准VOC07是：等间距选取11个recall[0.0,0.1,0.2...0.8,0.9,1.0]，然后取这11个recall点对应的Precision值做平均。

以上图为例，AP的计算过程为

2010年后的是取所有不同新标准的recall点对应的Precision值做平均，如下图所示。新标准算出的AP更准。

根据新标准，AP计算可以定义为经过插值的precision-recall曲线与X轴包络的面积。这种方式称为：AUC (Area under curve）

r1，r2,...,rn是按升序排列的Precision插值段第一个插值处对应的recall值。

三、mAP

AP值计算仅仅是针对一个类别，得到AP后mAP的计算就变得很简单了，就是计算所有类别的AP，然后取平均值。mAP衡量的是训练出来的模型在所有类别上的检测能力的好坏。假设有K种类别，K>1，那么mAP的计算公式：

当K=1时，mAP = AP。

Pascal VOC新标准定义的mAP计算方式可以认为是mAP的标准计算方式。

COCO挑战赛定义了12种mAP计算方式，典型的有：

**mAP(IoU@0.5)**，跟Pascal VOC mAP标准计算方式一致；

**mAP(IoU@[0.5:0.05:0.95])**，需要计算10个IoU阈值下的mAP，然后计算平均值。这个评估指标比仅考虑通用IoU阈值(0.5)评估指标更能体现出模型的精度。

**mAP(IoU@0.75)**，这是一个对检测能力要求更高的标准。

除了根据不同的IoU阈值来计算mAP外，还可以根据检测目标的大小来计算。

mAP@small，检测目标的面积 ≤ 32x32

mAP@medium，32x32 ＜ 检测目标的面积 ≤ 96x96

mAP@Large，96x96 ＜ 检测目标的面积

总结

查准率其实就是精确度，当Precision=1的时候就意味着我找一个对一个，Precision=0.1的时候意味着我找了十个检测框才对了一个，所以我们需要这个值越大越好，but要是只限制这一个指标的时候，然而这就会出现找不全的情况。即一共十个目标，我只找了一个检测框，这个检测框是对的，这时候我的precision也是1，所以为了避免这种情况的出现，就加了另外一个定义：查全率--召回率。Recall是预测为正实际为正占总体正样本的比例，Recall可以视作是模型在数据集中，检测出目标类型数据的能力，即是否把想找出来的都找出来了，Recall=1表示已经把想找出来的数据全部找出来了。所以就加了这个限制，也是为什么在这两个坐标轴下呈现下降的情况，所以我们需要的最好的情况就是precision=1 AND Recall=1而在这种情况下AUC就是最容易计算的一种方式。

参考：目标检测算法的评估指标：mAP定义及计算方式

       详解object detection中的mAP