ContextualFusion: Context-Based Multi-Sensor Fusion for 3D Object Detection in Adverse Operating Conditions

多模式传感器数据流（如相机图像和激光雷达点云）的融合在自动驾驶汽车（AVs）的运行中起着重要作用。AVs需要在各种恶劣的天气和光照条件下进行强大的感知，以便广泛部署。虽然多传感器融合网络已经被开发用于晴朗和清晰的天气条件下的感知，但是这些方法在夜间和恶劣天气条件下的表现显著下降。在本文中，我们提出了一种简单而有效的技术，称为ContextualFusion，将相机和激光雷达在不同光照和天气变化下的行为领域知识纳入3D物体检测模型中。具体而言，我们设计了一种基于操作上下文的门控卷积融合（GatedConv）方法，用于传感器流的融合。为了辅助我们的评估，我们使用开源模拟器CARLA创建了一个名为AdverseOp3D的多模式恶劣条件数据集，以解决现有数据集偏向于白天和良好天气条件的缺点。我们的ContextualFusion方法在我们的上下文平衡的合成数据集上比现有最先进的方法提高了6.2％的mAP。最后，我们的方法在真实世界的NuScenes数据集上提高了夜间的最先进3D目标性能，mAP提高了11.7％。

本文旨在解决自动驾驶汽车在光照和天气条件不佳时的多模态传感器融合问题，以提高3D物体检测的性能。

该论文提出了一种名为ContextualFusion的方法，利用关于摄像头和激光雷达在不同光照和天气条件下的不同行为的领域知识，设计了一种基于操作上下文的门控卷积融合（GatedConv）方法，用于传感器流的融合。

论文使用开源模拟器CARLA创建了一个多模态恶劣条件数据集AdverseOp3D，以解决现有数据集偏向于白天和良好天气条件的问题。ContextualFusion方法在该数据集上使mAP提高了6.2％，在真实世界NuScenes数据集上使3D物体检测的mAP提高了11.7％。论文还提供了开源代码。

在这个领域的相关研究包括：Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud和Adversarial Domain Adaptation for 3D Object Detection等。