MV2DFusion: Leveraging Modality-Specific Object Semantics for Multi-Modal 3D Detection

自动驾驶汽车的兴起显著增加了对强大的三维物体检测系统的需求。虽然相机和激光雷达传感器各自提供独特的优势——相机提供丰富的纹理信息，激光雷达提供精确的三维空间数据——但依赖于单一模态往往会导致性能限制。本文介绍了MV2DFusion，这是一个多模态检测框架，通过先进的基于查询的融合机制，集成了两个领域的优势。通过引入图像查询生成器来对齐图像特定属性和点云查询生成器，MV2DFusion有效地结合了模态特定的对象语义，而不偏向于单一模态。然后，基于有价值的对象语义可以完成稀疏融合过程，确保在各种场景下进行高效和准确的物体检测。我们框架的灵活性使其能够与任何基于图像和点云的检测器集成，展示了其适应性和未来发展的潜力。对nuScenes和Argoverse2数据集的广泛评估表明，MV2DFusion实现了最先进的性能，特别是在长距离检测场景中表现突出。

解决问题：论文旨在解决自动驾驶汽车中3D物体检测系统的性能限制问题，通过整合摄像头和激光雷达等多种模态数据来提高检测准确性。

关键思路：论文提出了一种多模态检测框架MV2DFusion，通过查询生成器将图像和点云数据进行对齐，利用它们各自的优势进行物体语义融合，从而实现高效、准确的物体检测。

亮点：该框架具有灵活性，可与任何基于图像和点云的检测器结合使用，且在nuScenes和Argoverse2数据集上取得了最先进的性能表现，特别是在长距离检测场景中表现突出。

相关研究：最近的相关研究包括："3D Object Detection with Pointformer"、"Range Adaptation for 3D Object Detection in LiDAR"等。