MoDGS: Dynamic Gaussian Splatting from Causually-captured Monocular Videos

本文提出了MoDGS，一种新的管道，仅使用随意捕捉的单目视频就可以渲染动态场景中的新视图图像。先前的单目动态NeRF或高斯喷洒方法强烈依赖于输入相机的快速移动来构建多视角一致性，但无法重建静态或缓慢移动的输入视频中的动态场景。为了解决这个具有挑战性的任务，MoDGS采用最近的单视图深度估计方法来指导动态场景的学习。然后，提出了一种新颖的三维感知初始化方法来学习合理的变形场，并提出了一种新的鲁棒深度损失来指导动态场景几何的学习。全面的实验表明，MoDGS能够仅使用随意捕获的单目视频就渲染出高质量的动态场景新视图图像，其性能明显优于基准方法。

提出了一种新的方法MoDGS，旨在解决从单目视频中渲染动态场景的新视角图像的问题。

MoDGS采用单视图深度估计方法来指导动态场景的学习，并提出了一种新的三维感知初始化方法和鲁棒深度损失函数，以指导动态场景几何形状的学习。

MoDGS可以从仅有的单目视频中生成高质量的动态场景新视角图像，并且比基线方法有更好的表现。论文还展示了广泛的实验结果，包括使用的数据集和开源代码。

最近的相关研究包括动态NeRF和高斯点插值方法。