Self-Calibrating 4D Novel View Synthesis from Monocular Videos Using Gaussian Splatting

Gaussian Splatting（GS）相较于神经辐射场（NeRF）显著提高了场景重建效率和新视角合成（NVS）的准确性，特别是对于动态场景。然而，目前基于GS或NeRF的4D NVS方法主要依赖于COLMAP提供的相机参数，甚至利用COLMAP生成的稀疏点云进行初始化，这些方法缺乏准确性且耗时。这有时会导致动态场景表现不佳，特别是在物体移动较大或相机条件极端的场景中，例如小的平移与大的旋转相结合。一些研究同时优化相机参数和场景的估计，通过从现成的模型中获取深度、光流等额外信息进行监督。使用这些未经验证的信息作为基准可以降低鲁棒性和准确性，在长时间单目视频（例如>数百帧）中经常发生。我们提出了一种新方法，通过自我校准相机参数来学习高保真的4D GS场景表示。它包括提取能够稳健地表示3D结构的2D点特征，并将其用于后续相机参数和3D结构的联合优化，以实现整体4D场景优化。我们通过对几个标准基准测试进行广泛的定量和定性实验结果展示了我们方法的准确性和时间效率。结果显示，在4D新视角合成方面，我们的方法比现有技术有显著的改进。源代码将很快在https://github.com/fangli333/SC-4DGS发布。

提高动态场景重建和新视角合成的效率和准确性，解决当前4D NVS方法中相机参数不准确、场景表示不精确的问题。

提出一种基于自校准相机参数的高保真4D高斯点插值场景表示方法，通过提取2D点特征来表示3D结构，并将其用于相机参数和3D结构的联合优化，从而实现整体4D场景优化。

实验结果表明，该方法在多个标准基准测试中的准确性和时间效率都显著优于现有的4D NVS方法，代码已在GitHub上开源。

最近的相关研究包括Neural Radiance Fields (NeRF)和COLMAP等。