Exploring Test-Time Adaptation for Object Detection in Continually Changing Environments

在实际应用中，神经网络模型通常部署在动态环境中，目标域的分布会随时间变化而变化。连续测试时间自适应（CTTA）最近已经成为一种有前途的技术，可以逐渐将源培训模型适应于从不断变化的目标域中抽取的测试数据。尽管近年来在解决CTTA方面取得了进展，但仍存在两个关键问题：1）现有方法中使用固定阈值进行伪标签生成会导致低质量的伪标签，因为模型置信度在不同类别和领域之间会有所变化；2）虽然当前的解决方案利用随机参数恢复来减轻灾难性遗忘，但其保留关键信息的能力受到其固有的随机性的削弱。为了解决这些挑战，我们提出了CTAOD，旨在增强在CTTA场景中检测模型的性能。受先前的CTTA工作的启发，CTAOD基于平均教师框架，具有三个核心组件。首先，为了进行物体检测，针对物体检测的对象级对比学习模块使用教师的感兴趣区域特征提取对象级特征，并通过对比学习进行优化。其次，动态阈值策略根据预测的置信度分数更新类别特定的阈值，以提高伪标签的质量。最后，我们设计了一种数据驱动的随机恢复机制，使用梯度作为随机掩码矩阵的权重来有选择性地重置不活动的参数，从而确保关键知识的保留。我们在四个CTTA任务的物体检测上展示了我们方法的有效性，其中CTAOD优于现有方法，尤其在Cityscapes-to-Cityscapes-C CTTA任务上实现了3.0 mAP的提升。

解决问题：论文旨在解决连续测试时间适应（CTTA）中存在的两个关键问题，即伪标签生成质量低和随机参数恢复的信息保留能力不足。

关键思路：论文提出了CTAOD，一种基于平均教师框架的目标检测模型，包含三个核心组件：面向目标检测的物体级对比学习模块、动态阈值策略和数据驱动的随机恢复机制。CTAOD利用教师模型的ROI特征提取物体级特征，并通过对比学习进行优化；更新基于预测置信度分数的类别特定阈值以提高伪标签质量；使用基于梯度的权重为随机掩码矩阵选择性地重置非活动参数，从而确保关键知识的保留。

亮点：论文在四个CTTA目标检测任务中展示了CTAOD的有效性，表现优于现有方法，尤其在Cityscapes-to-Cityscapes-C CTTA任务中提高了3.0 mAP。实验使用了多个数据集，包括Cityscapes、KITTI、BDD100K等，并提供了开源代码。

相关研究：最近的相关研究包括《Continual Learning for Object Detection with Knowledge Distillation》、《Online Continual Learning for Object Detection》等。