PreSight: Enhancing Autonomous Vehicle Perception with City-Scale NeRF Priors

自主驾驶汽车在导航和解释周围环境时广泛依赖感知系统。尽管这些系统最近取得了显著进展，但在遮挡、极端光照或陌生的城市地区等条件下仍存在挑战。与这些系统不同，人类不仅仅依赖于即时观察来感知环境。在导航新城市时，人类逐渐建立一个初步的心理地图，以在随后的访问中补充实时感知。受到这种人类方法的启发，我们介绍了一个新的框架，Pre-Sight，利用过去的遍历来构建静态先验记忆，在后续的导航中增强在线感知。我们的方法涉及优化一个城市规模的神经辐射场，利用以前的行程数据生成神经先验。这些先验富含语义和几何细节，无需手动注释即可派生，可以无缝地增强各种最先进的感知模型，以最小的额外计算成本提高它们的有效性。在nuScenes数据集上的实验结果表明，该框架与各种在线感知模型高度兼容。具体而言，在HD地图构建和占用预测任务中显示出显着的改进，突显了它作为自主驾驶系统新感知框架的潜力。我们的代码将在https://github.com/yuantianyuan01/PreSight发布。

提高自动驾驶系统在复杂环境下的感知能力，解决在遇到遮挡、极端光照或陌生城市等情况下的感知挑战。

利用过去的行驶经验构建静态先验记忆，辅助实时感知。通过优化城市规模的神经辐射场，生成神经先验，丰富语义和几何细节，无需手动注释即可增强各种最先进的感知模型的效果。

论文提出了一种新的感知框架Pre-Sight，通过利用过去的行驶经验构建静态先验记忆，辅助实时感知，提高自动驾驶系统在复杂环境下的感知能力。实验结果表明，该框架与各种最先进的感知模型兼容性高，能够显著提高高精度地图构建和占用预测任务的效果。研究者提供了开源代码。

与该研究相关的其他研究包括： 1. NuScenes: A multimodal dataset for autonomous driving. 2. Learning to navigate unseen environments: Back translation with environmental dropout.