Benchmarking Object Detectors with COCO: A New Path Forward

COCO（Common Objects in Context）数据集在过去十年中对于检测物体起到了重要的基准作用。然而，像每个数据集一样，COCO包含着从其注释过程中产生的微妙错误和不完美之处。随着高性能模型的出现，我们想知道这些COCO的错误是否妨碍了它在可靠地检测进一步进展方面的实用性。为了寻找答案，我们检查了COCO（2017版本）中数千个掩码，发现了不同类型的错误，例如不精确的掩码边界、未完全注释的实例和错误标记的掩码。由于COCO的普及程度，我们选择纠正这些错误，以保持与先前研究的连续性。我们开发了COCO-ReM（Refined Masks），这是一组更干净的注释，其掩码质量明显优于COCO-2017。我们评估了五十个物体检测器，并发现预测视觉上更清晰的掩码的模型在COCO-ReM上得分更高，证实它们由于COCO-2017中的错误而受到了不正确的惩罚。此外，我们使用COCO-ReM训练的模型收敛速度更快，得分也比使用COCO-2017训练的更大型号的模型高，突显了数据质量在提高物体检测器方面的重要性。基于这些发现，我们建议在未来的物体检测研究中使用COCO-ReM。我们的数据集可在https://cocorem.xyz获得。

COCO数据集的注释存在一些错误和缺陷，可能会影响其在目标检测领域的可靠性和准确性，本文试图解决这个问题。

本文提出了一种更加准确的COCO数据集注释方法，称为COCO-ReM，通过修正COCO-2017数据集中的错误和不完善之处，使得目标检测模型在COCO-ReM上的表现更加准确和稳定。

本文通过对COCO数据集中的错误进行分析，提出了一种更加准确的注释方法，实验结果表明使用COCO-ReM可以获得更好的目标检测模型表现。此外，本文提供了COCO-ReM数据集和开源代码，供研究者使用和参考。

近期的相关研究包括：1. YOLOv4: Optimal Speed and Accuracy of Object Detection；2. EfficientDet: Scalable and Efficient Object Detection。