Vision-based 3D occupancy prediction in autonomous driving: a review and outlook

近年来，自动驾驶因其能够减轻驾驶员负担和提高驾驶安全性而受到越来越多的关注。基于视觉的三维占据预测是一项新兴的感知任务，适用于自动驾驶的成本效益感知系统，其从图像输入中预测自动驾驶汽车周围三维体素网格的空间占据状态和语义。尽管大量研究已经证明了三维占据预测相对于物体中心感知任务的更大优势，但仍然缺乏专门关注这一快速发展领域的综述。本文首先介绍了基于视觉的三维占据预测的背景，并讨论了该任务面临的挑战。其次，我们从三个方面对基于视觉的三维占据预测的进展进行了全面调查：特征增强、部署友好性和标签效率，并对每种方法类别的潜力和挑战进行了深入分析。最后，我们总结了当前研究趋势，并提出了一些具有启发性的未来展望。为了为研究人员提供有价值的参考，我们在https://github.com/zya3d/Awesome-3D-Occupancy-Prediction上组织了一个定期更新的相关论文、数据集和代码的收集。

本论文旨在介绍基于视觉的三维占据预测任务，探讨其在自动驾驶领域中的应用和挑战。

论文从三个方面（特征增强、部署友好性和标签效率）综述了基于视觉的三维占据预测的进展，并深入分析了各种方法的潜力和挑战。

论文提供了一个有价值的参考，整理了相关论文、数据集和代码。实验使用了多个数据集和评估指标，并对比了不同方法的性能。值得深入研究的方向包括将该方法应用于实际自动驾驶车辆中以及结合其他传感器进行多模态感知。

相关研究包括："Monocular 3D Object Detection with Pseudo-LiDAR Point Cloud"，"VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection"，"PointRCNN: 3D Object Proposal Generation and Detection from Point Cloud"等。