CT-NeRF: Incremental Optimizing Neural Radiance Field and Poses with Complex Trajectory

神经辐射场（NeRF）在高质量的3D场景重建方面取得了令人印象深刻的成果。然而，NeRF严重依赖于精确的相机姿态。虽然像BARF这样的最新作品已经在NeRF内引入了相机姿态优化，但它们的适用范围仅限于简单的轨迹场景。现有方法在处理涉及大旋转的复杂轨迹时很难应对。为了解决这个局限性，我们提出了CT-NeRF，这是一个仅使用RGB图像而不需要姿态和深度输入的增量重建优化管道。在这个管道中，我们首先提出了一个局部-全局捆绑调整，它在一个连接相邻帧的姿态图下进行，以强制姿态之间的一致性，以避免由于仅具有与场景结构的姿态一致性而导致的局部最小值。进一步地，我们将姿态之间的一致性实例化为由输入图像对之间的像素级对应关系产生的投影几何图像距离约束的形式。通过增量重建，CT-NeRF能够恢复相机姿态和场景结构，并且能够处理具有复杂轨迹的场景。我们在两个真实数据集NeRFBuster和Free-Dataset上评估了CT-NeRF的性能，这些数据集具有复杂的轨迹。结果显示，CT-NeRF在新视角合成和姿态估计精度方面优于现有方法。

本文试图解决NeRF在处理复杂轨迹场景时过度依赖准确的相机姿态的问题，并提出了一种仅使用RGB图像进行增量重建优化的方法。

本文提出了一种基于局部-全局捆绑调整和基于像素级对应的几何图像距离约束的增量重建优化流程，用于同时恢复相机姿态和场景结构，能够处理复杂轨迹场景，并在新视角合成和姿态估计准确性方面优于现有方法。

本文提出的CT-NeRF方法能够处理复杂轨迹场景，并且仅使用RGB图像进行增量重建优化，无需输入相机姿态和深度信息。通过局部-全局捆绑调整和基于像素级对应的几何图像距离约束，同时恢复相机姿态和场景结构，避免了由于仅考虑姿态一致性而导致的局部最小值问题。实验在NeRFBuster和Free-Dataset两个真实数据集上进行，结果表明CT-NeRF在新视角合成和姿态估计准确性方面优于现有方法。

近期在这个领域中，还有一些相关的研究，如BARF等，这些研究也尝试在NeRF中引入相机姿态优化，但其适用范围有限。