On Calibration of Object Detectors: Pitfalls, Evaluation and Baselines

可靠的物体检测器使用需要它们进行校准，这是一个需要仔细关注的关键问题。近期的方法包括（1）设计新的损失函数，通过从头开始训练来获得校准检测器，以及（2）事后温度缩放（TS），该方法学习将训练过的检测器的可能性缩放到输出校准预测。然后，这些方法将根据检测期望校准误差（D-ECE）和平均精度进行评估。在这项工作中，通过广泛的分析和见解，我们强调这些最近的评估框架、评估指标和使用TS的显着缺点，导致了不正确的结论。作为解决这些问题的一步，我们提出了一个原则性的评估框架，共同衡量物体检测器的校准和准确性。我们还为物体检测任务量身定制了高效且易于使用的事后校准方法，如Platt缩放和Isotonic回归。与常见的观念相反，我们的实验表明，一旦正确设计和评估，事后校准器（极其便宜）比最近的训练时间校准方法更加强大和有效。例如，使用我们的事后Isotonic回归校准器的D-DETR在COCO数据集上比最近的训练时间状态-of-the-art校准方法Cal-DETR高出7个D-ECE。此外，我们提出了最近提出的局部化ECE的改进版本，并展示了我们的方法在这些指标上的有效性。代码可在以下网址获得：https://github.com/fiveai/detection_calibration。

提高物体检测器的校准性和准确性

提出了一种基于后处理校准方法的物体检测器校准框架，并且针对物体检测任务量身定制了Platt Scaling和Isotonic Regression两种高效易用的后处理校准方法。

通过对当前物体检测器校准方法的分析，提出了一种新的评估框架来综合衡量物体检测器的校准性和准确性，并且实验证明后处理校准方法比训练时校准方法更加有效。论文还提出了改进的Localization-aware ECE方法，并在COCO数据集上进行了实验，代码已经开源。

相关研究包括设计新的损失函数来训练校准的检测器和后处理温度缩放方法等。其中最新的训练时校准方法为Cal-DETR。