OccFusion: A Straightforward and Effective Multi-Sensor Fusion Framework for 3D Occupancy Prediction

本文介绍了OccFusion，一种直接且高效的传感器融合框架，用于预测三维占据情况。在自动驾驶中，全面了解三维场景至关重要，最近的三维语义占据预测模型成功地解决了描述具有不同形状和类别的真实世界对象的挑战。然而，现有的三维占据预测方法严重依赖于环视相机图像，使它们容易受到光照和天气条件的影响。通过集成来自其他传感器（如激光雷达和环视雷达）的特征，我们的框架增强了占据预测的准确性和鲁棒性，在nuScenes基准测试中取得了顶尖表现。此外，在nuScenes数据集上进行的广泛实验，包括具有挑战性的夜间和雨天场景，证实了我们的传感器融合策略在各种感知范围内的卓越性能。此框架的代码将在https://github.com/DanielMing123/OCCFusion上提供。

本论文旨在提出一种简单高效的传感器融合框架，用于预测三维占据情况，以解决自动驾驶中对三维场景的全面理解问题。现有的三维占用预测方法过于依赖环视相机图像，容易受到光照和天气条件的影响，因此需要整合其他传感器的特征以提高预测的准确性和鲁棒性。

本论文提出的OccFusion框架通过整合来自激光雷达和环视雷达等其他传感器的特征，提高了三维占用预测的准确性和鲁棒性。在nuScenes基准测试中取得了最高水平的性能表现。

论文使用nuScenes数据集进行了广泛的实验，包括具有挑战性的夜间和雨天场景，并证实了传感器融合策略在各种感知范围下的优越性能。此外，论文提出的框架代码将在GitHub上进行开源。

最近在这个领域中，还有一些相关研究，如：《Multi-Modal Sensor Fusion for 3D Object Detection and Semantic Segmentation: A Survey》、《Deep Multi-modal Object Detection and Semantic Segmentation for Autonomous Driving: Datasets, Methods, and Challenges》等。