DreamGaussian4D: Generative 4D Gaussian Splatting

最近，4D内容生成取得了显著进展。然而，现有方法存在优化时间长、缺乏运动可控性和细节质量低等问题。本文介绍了DreamGaussian4D（DG4D），这是一种高效的4D生成框架，建立在高斯点插值（GS）的基础上。我们的关键洞察是将空间变换的显式建模与静态GS相结合，可以为4D生成提供高效且强大的表示。此外，视频生成方法有潜力提供有价值的时空先验，增强高质量的4D生成。具体而言，我们提出了一个包含两个主要模块的完整框架：1）图像到4D GS - 我们首先使用DreamGaussianHD生成静态GS，然后使用高斯变形进行基于HexPlane的动态生成；2）视频到视频纹理细化 - 我们通过利用预训练的图像到视频扩散模型，同时优化生成的UV空间纹理映射并增强它们的时间一致性。值得注意的是，DG4D将优化时间从几个小时缩短到几分钟，允许视觉控制生成的3D运动，并生成可以在3D引擎中逼真渲染的动画网格。

DG4D论文旨在解决4D内容生成中存在的优化时间长、缺乏动作可控性和细节质量低的问题。

DG4D提出了一种基于高斯喷洒的高效4D生成框架，结合了空间变换的显式建模和静态高斯喷洒，同时利用视频生成方法提供有价值的时空先验知识。

DG4D将优化时间从几个小时缩短到几分钟，允许生成的3D运动在视觉上可控，并产生可以在3D引擎中真实渲染的动画网格。

最近的相关研究包括：《DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation》、《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》等。