Dynamic Gaussian Marbles for Novel View Synthesis of Casual Monocular Videos

高斯喷洒法已成为新视角合成的流行表示方法，表现出在效率、光度质量和组合可编辑性方面的明显优势。在其成功之后，许多工作将高斯函数扩展到4D，表明动态高斯函数保持这些优势，同时比替代表示方法更好地跟踪场景几何形状。然而，这些方法假定密集的多视角视频作为监督，将其使用限制在受控采集设置中。在这项工作中，我们将高斯场景表示的能力扩展到非正式捕获的单目视频。我们展示了现有的4D高斯方法在这种设置下的显著失败，因为单目设置是不完备的。基于这一发现，我们提出了动态高斯弹珠(DGMarbles)，包括三个核心修改，针对单目设置的困难。首先，DGMarbles使用各向同性的高斯“弹珠”，减少每个高斯函数的自由度，并将优化限制在运动和外观上，而不是局部形状上。其次，DGMarbles采用分层分治学习策略，引导优化朝着具有连贯运动的解决方案。最后，DGMarbles将图像级和几何级先验条件添加到优化中，包括利用最近点跟踪进展的跟踪损失。通过这些方式限制优化，DGMarbles学习高斯轨迹，实现新视角渲染，并准确捕捉场景元素的3D运动。我们在（单目）Nvidia动态场景数据集和Dycheck iPhone数据集上进行评估，并显示DGMarbles在质量方面明显优于其他高斯基线，并与非高斯表示方法相当，同时保持高斯函数的效率、组合可编辑性、跟踪优势。

本论文旨在将高斯场景表示扩展到非受控捕捉设置下的单目视频，并解决单目设置下高斯方法的失败问题。论文的目标是学习高斯轨迹，以实现新视角渲染并准确捕捉场景元素的3D运动。

DGMarbles采用三种核心修改来解决单目设置下高斯方法的失败问题：使用各向同性高斯“大理石”来减少每个高斯的自由度，采用分层分治学习策略来引导优化向具有连贯运动的解决方案，将图像级别和几何级别的先验信息添加到优化中。

论文提出了一种新的高斯表示方法DGMarbles，用于解决单目视频下的高斯方法失败问题，能够实现新视角渲染并准确捕捉场景元素的3D运动。论文在Nvidia Dynamic Scenes数据集和Dycheck iPhone数据集上进行了评估，并展示了DGMarbles在质量上显著优于其他高斯基线，并与非高斯表示方法相当，同时保持了高斯方法的效率、组合性、可编辑性和跟踪优势。

最近的相关研究包括：Gaussian场景表示方法的扩展，以及基于点跟踪的跟踪损失的进展。