OccFusion: Depth Estimation Free Multi-sensor Fusion for 3D Occupancy Prediction

基于多传感器融合的3D占据预测对于可靠的自动驾驶系统至关重要，它可以实现对3D场景的细粒度理解。以往的基于融合的3D占据预测依赖深度估计来处理2D图像特征，然而，深度估计是一个不适定问题，这会影响这些方法的准确性和鲁棒性。此外，细粒度的占据预测需要大量的计算资源。本文提出了一种名为OccFusion的多模态融合方法，它不依赖于深度估计，并提出了相应的点云采样算法，以实现对图像特征的密集集成。在此基础上，我们提出了一种主动训练方法和一种主动的粗到细的管道，使模型能够自适应地从复杂样本中学习更多，并针对小型或重叠物体等具有挑战性的区域进行优化预测。我们提出的主动方法可以自然地扩展到任何占据预测模型。在OpenOccupancy基准测试上的实验表明，我们的方法在所有类别的IoU上超过了现有的最先进的多模态方法。此外，我们的模型在训练和推断阶段都更加高效，需要更少的计算资源。全面的消融研究证明了我们提出的技术的有效性。

该论文旨在解决自动驾驶系统中的3D占用预测问题，提出了一种新的多模态融合方法，避免了深度估计的不确定性，提高了准确性和鲁棒性。

论文提出了一种名为OccFusion的多模态融合方法，该方法不依赖深度估计，使用点云采样算法进行图像特征的密集集成。同时，论文还提出了主动训练方法和主动粗到细的流程，针对复杂样本进行自适应学习和优化预测，从而提高模型的性能和效率。

论文在OpenOccupancy基准测试中表现出优异的IoU，比现有的多模态方法更高。同时，论文的模型在训练和推理阶段都更加高效，需要更少的计算资源。值得关注的是，论文提出的主动学习方法可以自然地扩展到任何占用预测模型。

在这个领域中，还有一些相关的研究，如：Multi-View 3D Object Detection Network for Autonomous Driving、3D Object Detection with Point-Based Semantic Segmentation and Graph Convolutional Networks、PIXOR: Real-time 3D Object Detection from Point Clouds等。