Fully Test-Time Adaptation for Monocular 3D Object Detection

单目三维物体检测（Mono 3Det）旨在从单张RGB图像中识别三维物体。然而，现有方法通常假定训练和测试数据遵循相同的分布，这在真实测试场景中可能不成立。为了解决分布外（OOD）问题，我们探索了一种新的Mono 3Det适应性范式，称为完全测试时适应。它旨在通过处理潜在的数据分布偏移，在测试时间将经过良好训练的模型适应到未标记的测试数据，而无需访问训练数据和测试标签。然而，在Mono 3Det中应用这种范式会面临重大挑战，因为OOD测试数据会导致物体检测分数显著下降。这种下降与现有检测方法的预定义分数阈值冲突，导致严重的物体漏检（即罕见的正检测和许多假阴性）。因此，有限的正检测和大量的噪声预测导致测试时适应在Mono 3Det中失败。为了解决这个问题，我们提出了一种新的单目测试时适应（MonoTTA）方法，基于两个新策略。1）可靠性驱动的适应：我们经验性地发现，高分数物体仍然是可靠的，高分数物体的优化可以增强所有检测的置信度。因此，我们设计了一种自适应策略来识别可靠的物体进行模型适应，发现潜在物体并减轻漏检。2）噪声防护适应：由于高分数物体可能很少，我们开发了一个负正则化项，通过负学习利用众多低分数物体，防止过度拟合到噪声和琐碎解决方案。实验结果表明，MonoTTA在OOD测试场景中为Mono 3Det模型带来了显著的性能提升，KITTI平均提高了约190％，nuScenes提高了198％左右。

本论文旨在解决单目三维目标检测（Mono 3Det）中的数据分布偏移问题，提出了一种全测试时间自适应（Fully Test-time Adaptation）的方法，以适应实际测试场景中的数据分布偏移。

论文提出了一种名为Monocular Test-Time Adaptation (MonoTTA)的方法，通过两种策略来解决数据分布偏移问题：一是可靠性驱动自适应，通过自适应策略识别可靠对象，提高置信度；二是噪声保护自适应，通过负学习防止过度拟合噪声和无意义解。这种方法能够显著提高Mono 3Det模型在OOD测试场景中的性能。

论文使用了KITTI和nuScenes两个数据集进行了实验，MonoTTA方法在OOD测试场景中平均获得了约190%的性能提升。此外，论文还提出了一种自适应策略，可以识别可靠对象并提高置信度，这是一个值得关注的亮点。论文还开源了代码。

最近的相关研究包括《Domain Adaptive Faster R-CNN for Object Detection in the Wild》和《Adversarial Open Domain Adaption for Semantic Segmentation》等。