Multimodal Object Detection via Probabilistic a priori Information Integration

多模态目标检测在遥感领域表现出很大的潜力。然而，多模态数据经常遇到低质量的问题，其中模态缺乏严格的细胞对齐，导致不同模态之间存在不匹配。本文研究了仅有一个模态包含目标物体而其他模态提供关键上下文信息的多模态目标检测。我们提出了通过将上下文二进制信息转换为概率图来解决对齐问题的方法。然后，我们提出了一个早期融合架构，并在DOTA数据集上进行了广泛的实验证明。

解决问题：本论文旨在解决多模态数据中存在的低质量问题，其中模态之间存在不严格的单元格对齐，导致不同模态之间存在不匹配的情况。论文提出了一种解决对齐问题的方法，即将上下文二进制信息转换为概率图，并提出了一种早期融合架构。

关键思路：论文的关键思路是将上下文二进制信息转换为概率图，以解决对齐问题，并提出了一种早期融合架构来进行多模态物体检测。

其他亮点：论文在DOTA数据集上进行了大量实验来验证提出的方法。此外，论文还提供了开源代码。该方法可以应用于遥感图像等多种领域，值得进一步研究。

相关研究：最近的相关研究包括：《Multi-modal and Multi-task Learning for Autonomous Driving》、《Deep Multimodal Fusion of Sensor Data for Autonomous Driving: A Survey》等。