UEMM-Air: A Synthetic Multi-modal Dataset for Unmanned Aerial Vehicle Object Detection

本文介绍了一种针对无人机的多模态目标检测数据集UEMM-Air。传统的多模态目标检测需要大量像素对齐的多模态图像数据，但是现有的数据集存在模态有限、制作成本高和标注不精确等问题。为此，本文使用虚幻引擎（UE）模拟了各种无人机飞行场景和物体类型，并设计了无人机的飞行逻辑，以自动收集不同场景、视角和高度的数据。最后，本文提出了一种新的启发式自动注释算法，以生成准确的目标检测标签。UEMM-Air包含20k对图像，具有5种模态和精确的注释。此外，本文在数据集上进行了大量实验，并建立了新的基准结果。结果表明，与其他类似数据集相比，预先在UEMM-Air上进行训练的模型在下游任务中表现更好。该数据集已公开发布，以支持多模态无人机目标检测模型的研究（https://github.com/1e12Leon/UEMM-Air）。

解决问题（Problem）：论文提出了一种解决多模态无人机目标检测数据集不足、构建成本高、标注不准确等问题的方法。

关键思路（KeyIdea）：使用虚幻引擎模拟各种无人机飞行场景和目标类型，并设计无人机的飞行逻辑自动收集不同场景、角度和高度的数据。同时，提出一种新颖的启发式自动注释算法生成准确的目标检测标签。

其他亮点（Highlights）：论文提出的数据集UEMM-Air包含20k对图像，涵盖5种模态，并且具有准确的标注。实验结果表明，使用UEMM-Air预训练的模型在下游任务中表现更好。数据集已公开发布。

相关研究（RelatedWork）：近期的相关研究包括：《Multi-Modal Aerial Robot Sensing: Challenges, Opportunities, and Platforms》、《A Survey on Object Detection in Optical Remote Sensing Images》等。