PC-NeRF: Parent-Child Neural Radiance Fields Using Sparse LiDAR Frames in Autonomous Driving Environments

大规模三维场景重建和新视角合成对于自动驾驶车辆至关重要，特别是利用时间上稀疏的LiDAR帧。然而，传统的显式表示仍然是表示重建和合成场景的无限分辨率的重要瓶颈。虽然最近开发的神经辐射场（NeRF）在隐式表示方面表现出令人信服的结果，但使用稀疏LiDAR帧进行大规模三维场景重建和新视角合成的问题仍未被探索。为了填补这一差距，我们提出了一个名为父子神经辐射场（PC-NeRF）的三维场景重建和新视角合成框架。基于其两个模块，父NeRF和子NeRF，该框架实现了分层空间划分和多级场景表示，包括场景、段和点级别。多级场景表示增强了稀疏LiDAR点云数据的高效利用，并实现了近似体积场景表示的快速获取。通过广泛的实验，证明了PC-NeRF在大规模场景中实现了高精度的新LiDAR视角合成和三维重建。此外，PC-NeRF可以有效地处理稀疏LiDAR帧的情况，并展示了在有限的训练时期内高部署效率。我们的方法实现和预训练模型可在https://github.com/biter0088/pc-nerf上获得。

解决问题：论文旨在解决利用稀疏LiDAR帧进行大规模3D场景重建和新视角合成的问题，传统方法存在明显瓶颈，而神经辐射场（NeRF）的显式表示方法也无法解决这个问题。

关键思路：论文提出了一种名为PC-NeRF的框架，包含父神经辐射场和子神经辐射场两个模块，实现了分层空间划分和多级场景表示，包括场景、分割和点三个级别，提高了稀疏LiDAR点云数据的有效利用率，并能够快速获取近似的体积场景表示。

亮点：PC-NeRF在大规模场景中实现了高精度的新LiDAR视角合成和3D重建，能够有效处理稀疏LiDAR帧的情况，并且在有限的训练时期内展现了高部署效率。论文提供了代码实现和预训练模型。

相关研究：最近的相关研究包括NeRF、Sparse-NeRF、Multi-Level NeRF等。