目标检测精度上限与影响因素分析
- 一、概述
- 二、目标框周围上下文对图像分类精度的影响
- 2.1实验设置
- 2.2实验结果
- 三、目标检测错误类型分析
- 3.1四种检测错误
- 3.2每种错误对检测精度的影响程度分析
- 四、目标检测精度上限分析
- 4.1分析前提
- 4.2分析上限的两种策略
- 4.3两种策略结果对比
- 4.3.1第一种策略得出的上限
- 4.3.2第二种策略得出的上限
- 4.4VOC数据集上限
- 4.5FASHION数据集上限
- 4.6COCO数据集上限
- 五、上下文对目标识别精度的影响
- 5.1替换或删除背景的影响
- 5.2将目标框置于异常背景的影响
- 5.3裁剪、模糊、翻转的影响
一、概述
本文主要对一篇2019年分析目标检测精度上限的论文进行介绍，论文题目为：《Empirical Upper Bound in Object Detection and More》，论文地址：https://arxiv.org/abs/1911.12451
该论文既不是综述类文章，也不是提出了一种能够达到更高精度的新的算法，而是进行了大量实验，通过实验数据的分析比对，对影响目标检测精度的因素进行了分析，同时对深度学习算法所能够达到的精度上限进行了预测。
论文预测在COCO的val2017数据集上mAP值上限为78.2%，VOC (test2007)数据集上mAP值上限为91.6%。
论文提出，影响目标检测精度的最大原因是分类错误而不是定位偏差过大。
二、目标框周围上下文对图像分类精度的影响
2.1实验设置
论文首先研究了图像分类任务，而不是目标检测任务，探讨目标框周围的上下文信息对分类精度的影响。
使用ResNet152作为分类模型，输入模型的图片数据集分为三种，分别进行训练：
- 原始目标框；
- 原始目标框加上周围上下文（扩大目标框的宽高）；
- 只有周围上下文（将目标框删除）
如下图所示：
目标框统一大小为224×224，模型训练15轮。
2.2实验结果
在原始目标框上进行分类测试，top1精度如下图所示：
从实验结果可看出，原始目标检测框包含了分类所需的最多信息，目标框缩小会损失一部分信息导致分类精度下降，目标框扩大将会带来一些无关信息也会降低分类精度。
三、目标检测错误类型分析
3.1四种检测错误
论文中将目标检测错误的情况分为了4种，分别为：
- 分类错误，将背景当成了目标，这种情况下检测框与真实框之间的IoU小于0.1；
- 定位不准确，这种情况下检测框与真实框之间的IoU，大于0.1且小于0.5；
- 重复检测，就是说如果一个检测框与真实框的IoU大于0.5但是这个真实框已经被分配，那么就是重复检测；
- 丢失目标，就是真实框与任何检测框的IoU都小于0.1，真实框没有被检测到。
如下图所示：
3.2每种错误对检测精度的影响程度分析
每种错误对检测精度的影响程度如下图所示：
上图分别在三种数据集上使用三种模型进行了实验，结果表明分类错误对检测精度也就是mAP值的影响最重要。
第二重要的是目标丢失，其实也属于分类错误。
剩下的第三第四影响很小，分别是定位不准和重复检测。
四、目标检测精度上限分析
4.1分析前提
首先从前一节的实验得出结论：降低目标检测精度的最重要因素是分类错误，而定位不准的问题影响很小，因此论文中在研究目标检测上限时，假设定位问题已经解决，即检测到的目标框与真实框完全重合，接下来要考虑的问题就是如何提高目标框的分类准确率，从而得出AP值的上限。
4.2分析上限的两种策略
第一种策略：利用目标框周围上下文信息来提高分类准确率，从而分析出AP值上限。简而言之，使用目标框训练出一个最佳分类器，使用最佳分类器对目标框进行判断得出置信度分数，然后根据这个置信度分数计算AP值。
第二节进行的目标框上下文信息对分类精度的影响实验，就是用在第一种策略中，通过该实验得出最佳分类器。
第二种策略：在目标框周围搜索其他的检测框，这些检测框要求与目标框的IoU不低于设定的阈值，对这些检测框进行分类，将置信度分数最高的作为目标框的分类结果，或者对这些检测框的分类结果进行投票，票数最高的类别作为目标框的分类结果。
4.3两种策略结果对比
4.3.1第一种策略得出的上限
第一种策略得出的不同数据集下的AP值上限如下图所示：
IoU阈值不同下的检测上限AP值不变，这是因为分析上限的前提就是定位问题得到解决，检测框完全与真实框重合。
4.3.2第二种策略得出的上限
第二种策略得出的不同数据集下的AP值上限如下图所示：
从图中可看出，第二种策略得出的AP上限值在大多数情况下比第一种策略得出的AP上限值要低。
论文分析，这是因为第二种策略引入了目标框周围的信息，而这些信息包含了一些噪声会导致分类精度降低。
因此论文使用第一种策略来探讨目标检测AP值上限。
4.4VOC数据集上限
VOC数据集上限如下图所示：
上图展示了两种计算AP值的评估代码，左图是VOC评估代码，右图是COCO评估代码，论文结论中是使用的COCO评估代码，得出的mAP上限为91.6%。
4.5FASHION数据集上限
FASHION数据集上限如下图所示：
mAP上限为71.2%。
4.6COCO数据集上限
COCO数据集上限如下图所示：
mAP上限为78.2%。
五、上下文对目标识别精度的影响
这一节属于论文中的额外章节部分，并不是在分析目标检测精度上限，而是分析目标框周围上下文对目标检测AP值的影响。
5.1替换或删除背景的影响
通过将目标框外背景替换为白色或噪声，或者将背景直接删除只留下目标框，对比AP值，如下图所示：
实验结果表明，周围背景信息对小目标的检测AP值的影响非常明显，而将周围背景信息替换或删除后，大目标的AP值反而有所上升。
5.2将目标框置于异常背景的影响
将目标框置于异常背景，指的是例如将一艘船置于街道上：
结果如下图所示：
