DGD: Dynamic 3D Gaussians Distillation

我们的任务是学习动态三维语义辐射场，只需输入单个单目视频。我们学习的语义辐射场捕捉每个点的语义，以及动态三维场景的颜色和几何属性，从而实现新视角和相应语义的生成。这使得能够通过简单直观的界面（包括用户点击或文本提示）对各种三维语义实体进行分割和跟踪。为此，我们提出了DGD，一种统一的三维表示方法，用于表示动态三维场景的外观和语义，基于最近提出的动态三维高斯表示方法。我们的表示方法随着时间的推移进行优化，同时利用颜色和语义信息。我们方法的关键在于外观和语义属性的联合优化，它们共同影响场景的几何属性。我们评估了我们的方法在稠密语义三维物体跟踪方面的能力，并展示了快速渲染的高质量结果，适用于各种场景。我们的项目网页可在https://isaaclabe.github.io/DGD-Website/上找到。

本论文旨在解决从单个单眼视频输入中学习动态3D语义辐射场的问题，以实现对动态3D场景的密集语义3D对象跟踪和高质量渲染。

本论文提出了一种名为DGD的统一3D表示方法，用于动态3D场景的外观和语义。该方法基于最近提出的动态3D高斯表示，并通过颜色和语义信息随时间进行优化。该方法的关键在于外观和语义属性的联合优化，这些属性共同影响场景的几何属性。

本论文的亮点在于提出了一种新的统一3D表示方法，用于动态3D场景的外观和语义，能够捕捉每个点的语义以及颜色和几何属性，从而实现生成新视图及其相应语义的能力。此外，该方法能够对各种3D语义实体进行分割和跟踪，使用简单直观的界面进行指定。本论文的实验结果表明，该方法能够实现对动态3D场景的密集语义3D对象跟踪，并且能够快速渲染出高质量的结果。

在相关研究方面，最近在这个领域中进行了一些相关研究，如NeRF，DIB-R和GRAF等。