Exploring Robust Features for Few-Shot Object Detection in Satellite Imagery

本文的目标是在卫星图像中执行目标检测，只使用少量示例即可让用户指定任何对象类别，最小化注释。为此，我们探索了远程感知领域中最近的开放词汇检测方法和思想。我们基于传统的两阶段架构开发了一个少样本目标检测器，其中分类块被原型分类器替换。使用大规模预训练模型构建类参考嵌入或原型，将其与区域提议内容进行比较以进行标签预测。此外，我们建议在可用的训练图像上微调原型，以提高性能并学习类似类别（例如飞机类型）之间的差异。我们在两个包含具有挑战性和罕见对象的远程感知数据集上进行了广泛的评估。此外，我们研究了视觉和图像文本特征（即DINOv2和CLIP）的性能，包括两个专门针对远程感知应用的CLIP模型。结果表明，视觉特征在很大程度上优于视觉语言模型，因为后者缺乏必要的领域特定词汇。最后，该开发的检测器在SIMD和DIOR数据集上表现优于完全监督和少样本方法，尽管训练参数很少。

本论文的目标是使用少量样本在卫星图像中进行物体检测，从而使用户能够用最少的注释来指定任何对象类别。论文尝试解决的是一个新问题。

论文采用传统的两阶段架构，将分类块替换为基于原型的分类器，利用预训练模型构建类参考嵌入或原型，并将其与区域提议内容进行比较以进行标签预测。同时，论文还提出了在可用的训练图像上微调原型以提高性能并学习类别之间的差异。

本论文的亮点包括：使用少量样本进行物体检测；采用传统的两阶段架构，将分类块替换为基于原型的分类器；利用预训练模型构建类参考嵌入或原型；使用DINOv2和CLIP等视觉和图像文本特征进行评估；在两个遥感数据集上进行了广泛的评估，并且表现出比完全监督和少样本方法更好的性能。

在这个领域中的相关研究包括：Few-shot Object Detection with Attention-RPN and Multi-Relation Detector（使用注意力RPN和多关系检测器进行少样本物体检测）；Few-shot Object Detection and Viewpoint Estimation for Objects in the Wild（针对野外物体的少样本物体检测和视点估计）；Few-Shot Object Detection via Feature Reweighting（通过特征重新加权进行少样本物体检测）。