Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis

解决问题：本论文旨在解决动态场景的6自由度跟踪和新视角合成问题。通过分析合成框架，使用3D高斯模型表示场景元素，并通过局部刚性约束来实现动态场景的建模。

关键思路：本论文提出的动态3D高斯模型通过对高斯的运动和旋转进行约束，实现了对动态场景的建模，并且无需输入任何对应或光流信息即可实现密集的6自由度跟踪和动态重建。与当前领域的研究相比，本论文的创新之处在于提出了一种新的动态场景建模方法，并且在此基础上实现了多种应用。

其他亮点：本论文的实验结果表明，动态3D高斯模型可以用于多种应用，如第一人称视角合成、动态组合场景合成和4D视频编辑等。作者还提供了开源代码和数据集，有助于进一步研究该方法的应用和改进。

关于作者：本论文的主要作者是Jonathon Luiten、Georgios Kopanas、Bastian Leibe和Deva Ramanan。他们分别来自荷兰代尔夫特理工大学、德国波恩大学和美国卡内基梅隆大学。他们之前的代表作包括：Jonathon Luiten在机器人视觉和物体检测方面有多项研究成果；Georgios Kopanas在计算机视觉和机器学习方面有多篇论文发表；Bastian Leibe在计算机视觉和机器学习领域有多项重要研究成果；Deva Ramanan在计算机视觉、机器学习和人工智能领域的研究成果丰富。

相关研究：与本论文相关的其他研究包括：《DeepVoxels: Learning Persistent 3D Feature Embeddings》（Peter et al.，MIT）、《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》（Mildenhall et al.，UC Berkeley）、《DenseRaC: Joint 3D Pose and Shape Estimation by Dense Render-and-Compare》（Liao et al.，MIT）等。

论文摘要：我们提出了一种方法，同时解决了动态场景新视角合成和所有密集场景元素的六自由度（6-DOF）跟踪任务。我们采用分析合成框架，受到最近的工作的启发，该工作将场景建模为一组3D高斯函数，通过可微分渲染进行优化以重建输入图像。为了模拟动态场景，我们允许高斯函数在时间上移动和旋转，同时强制它们具有持久的颜色、不透明度和大小。通过使用局部刚性约束来规范高斯函数的运动和旋转，我们展示了我们的动态3D高斯函数正确地模拟了物理空间的相同区域随时间的变化，包括该空间的旋转。密集的6-DOF跟踪和动态重建自然地从持久动态视角合成中产生，无需任何对应或流作为输入。我们展示了许多我们表示法所支持的下游应用，包括第一人称视角合成、动态组合场景合成和4D视频编辑。

内容中包含的图片若涉及版权问题，请及时与我们联系删除