MutDet: Mutually Optimizing Pre-training for Remote Sensing Object Detection

针对DETR系列检测器的检测预训练方法在自然场景中得到了广泛研究，例如DETReg。然而，遥感场景中的检测预训练仍未被探索。在现有的预训练方法中，从预训练的骨干网络中提取的对象嵌入和检测器特征之间的对齐非常重要。然而，由于特征提取方法的差异，仍存在明显的特征差异，这阻碍了预训练性能。复杂环境和更密集分布对象的遥感图像加剧了这种差异。在本文中，我们提出了一种新颖的遥感目标检测互相优化预训练框架，称为MutDet。在MutDet中，我们提出了一个系统性的解决方案来应对这一挑战。首先，我们提出了一个相互增强模块，该模块在最后一个编码器层中双向融合对象嵌入和检测器特征，增强它们的信息交互。其次，采用对比对齐损失来引导这个对齐过程，软化地同时增强检测器特征的可辨识性。最后，我们设计了一个辅助孪生头来减轻增强模块引入的任务差距。各种设置下的综合实验表明了新的最先进的迁移性能。当数据量有限时，改进尤为显著。在使用DIOR-R数据的10％时，MutDet在AP50上将DetReg提高了6.1％。代码和模型可在以下网址找到：https://github.com/floatingstarZ/MutDet。

本文试图解决在遥感场景下，检测预训练仍未被深入研究的问题。由于特征提取方法的差异，会导致特征不一致性，从而影响预训练性能，尤其是在遥感图像中物体分布更密集的情况下。

本文提出了一个名为MutDet的新的遥感目标检测互相优化预训练框架。该框架采用了互相增强模块，通过双向融合目标嵌入和检测器特征来增强它们之间的信息交互。此外，还使用对比度对齐损失来指导对齐过程，同时增强检测器特征的可区分性，并设计了一个辅助连体头来缓解增强模块引入的任务差距。

本文的实验结果表明，MutDet在各种设置下都展现出了新的最先进的转移性能，特别是在数据量有限的情况下。当使用DIOR-R数据的10%时，MutDet在AP50上比DetReg提高了6.1%。此外，本文还提供了开源代码和模型。

最近的相关研究包括DETR系列检测器的检测预训练方法在自然场景下的研究，如DETReg。