3R-GS: Best Practice in Optimizing Camera Poses Along with 3DGS

3D Gaussian Splatting (3DGS) 以其高效性和高质量彻底改变了神经渲染领域，但与许多新颖的视图合成方法一样，它严重依赖于来自运动结构（SfM）系统的精确相机姿态。尽管最近的 SfM 流程取得了令人印象深刻的进展，但在如何进一步同时提升其在挑战性条件（例如无纹理场景）下的鲁棒性能以及相机参数估计的精度方面，仍然存在疑问。我们提出了 3R-GS，这是一种结合了大规模重建先验 MASt3R-SfM 的 3D Gaussian Splatting 框架，能够联合优化 3D 高斯分布和相机参数。我们注意到，简单地进行联合 3D 高斯分布和相机优化会面临两个挑战：对 SfM 初始化质量的敏感性，以及全局优化能力有限，从而导致次优的重建结果。我们的 3R-GS 通过引入优化实践克服了这些问题，即使在相机注册不完善的情况下也能实现鲁棒的场景重建。大量实验表明，3R-GS 在保持计算效率的同时，能够提供高质量的新视图合成和精确的相机姿态估计。项目页面：https://zsh523.github.io/3R-GS/

3D Gaussian Splatting (3DGS) 等神经渲染方法依赖于精确的相机姿态估计，而传统 SfM 系统在纹理匮乏等复杂场景下表现不佳。本文旨在解决如何在挑战性条件下同时提高相机参数估计精度和场景重建质量的问题，这并非一个全新的问题，但当前方法在全局优化能力和对初始化质量的敏感性方面仍有不足。

提出了一种名为 3R-GS 的框架，通过联合优化 3D Gaussians 和相机参数来弥补现有 SfM 方法的不足。与直接联合优化不同，3R-GS 借助大规模重建先验 MASt3R-SfM，并通过优化策略克服了对初始化质量的敏感性和全局优化能力有限的问题，从而实现更鲁棒的场景重建。

1. 提出了针对 3D Gaussian Splatting 的改进框架 3R-GS，能够处理纹理匮乏等复杂场景；2. 实验表明，该方法在保持计算效率的同时提升了新视角合成的质量和相机姿态估计的精度；3. 使用了多个公开数据集进行验证，并提供了项目页面（https://zsh523.github.io/3R-GS/），可能包含代码开源计划；4. 未来可进一步探索如何将此方法扩展到动态场景或更大规模的数据集中。

相关研究包括：1. Neural Radiance Fields (NeRF)，一种经典的神经渲染方法；2. Instant-NGP，提升了 NeRF 的训练速度和效率；3. MASt3R，为本文提供大规模重建先验的 SfM 方法；4. Colmap，一种广泛使用的传统 SfM 工具；5. Plenoxels 和 Gaussian Splatting，分别代表体素化和基于点云的高效神经渲染方法。