TD-NeRF: Novel Truncated Depth Prior for Joint Camera Pose and Neural Radiance Field Optimization

准确的相机位姿依赖是阻碍神经辐射场（NeRF）模型在三维重建和SLAM任务中广泛部署的重要障碍。现有的方法引入单目深度先验来联合优化相机位姿和NeRF，但未能充分利用深度先验并忽略了其固有噪声的影响。本文提出了一种新方法——截断深度NeRF（TD-NeRF），它可以从未知的相机位姿中训练NeRF，通过联合优化辐射场和相机位姿的可学习参数。我们的方法通过三个关键进展明确地利用单目深度先验：1）我们提出了一种基于截断正态分布的新型深度光线采样策略，可以提高位姿估计的收敛速度和准确性；2）为了规避局部最小值并改进深度几何，我们引入了一种由粗到细的训练策略，逐步提高深度精度；3）我们提出了一种更加稳健的帧间点约束，增强了对深度噪声的训练稳健性。在三个数据集上的实验结果表明，TD-NeRF在联合优化相机位姿和NeRF方面取得了优异的性能，超越了先前的工作，并生成了更准确的深度几何。我们的方法实现已经在https://github.com/nubot-nudt/TD-NeRF上发布。

解决问题：论文试图解决Neural Radiance Fields (NeRF)模型在3D重建和SLAM任务中对准确的相机姿态的依赖问题。

关键思路：提出了Truncated Depth NeRF (TD-NeRF)方法，通过联合优化可学习的辐射场和相机姿态来训练NeRF，利用截断正态分布的基于深度的光线采样策略、粗到细的训练策略和更强大的帧间点约束来显式利用单目深度先验，从而解决了NeRF模型对准确相机姿态的依赖问题。

亮点：TD-NeRF方法在三个数据集上的实验结果表明，在联合优化相机姿态和NeRF方面具有优越性，优于之前的方法，并生成更准确的深度几何。论文提供了开源代码。

相关研究：最近的相关研究包括NeRF++, D-NeRF和NeRF-W。