COLMAP-Free 3D Gaussian Splatting

虽然神经渲染在场景重建和新视角合成方面取得了令人瞩目的进展，但其严重依赖于准确的预计算相机位姿。为了放宽这个限制，多个方案已经尝试训练没有预处理相机姿态的神经辐射场（NeRF）。然而，NeRF的隐式表示同时优化3D结构和相机姿态提出了额外的挑战。另一方面，最近提出的3D高斯点云光滑插值方法提供了新的机会，因为它具有显式的点云表示。本文利用了显式几何表示和输入视频流的连续性，实现了无需任何SfM预处理的新视角合成。我们以顺序方式处理输入帧，并逐步增加3D高斯集，一次处理一个输入帧，无需预计算相机姿态。我们的方法在视角合成和相机姿态估计方面显著优于以往的方法，尤其是在大运动变化下。我们的项目页面为https://oasisyang.github.io/colmap-free-3dgs。

论文试图解决如何在没有预处理相机姿态的情况下进行新视角合成和相机姿态估计的问题。

论文提出了一种使用3D高斯点云表示的新视角合成和相机姿态估计方法，通过逐帧处理输入帧并逐步增加3D高斯点云集合来实现，相比之前的方法在大运动变化下有显著改进。

论文使用了3D高斯点云表示和输入视频流的连续性来进行新视角合成和相机姿态估计，不需要预处理相机姿态。实验结果表明该方法在大运动变化下比之前的方法有显著改进。论文提供了项目页面和开源代码。

最近的相关研究包括Neural Radiance Fields (NeRFs)和3D Gaussian Splatting等方法。