Vidu4D: Single Generated Video to High-Fidelity 4D Reconstruction with Dynamic Gaussian Surfels

视频生成模型因其生成逼真而富有想象力的画面而受到特别关注。此外，这些模型还表现出强大的三维一致性，极大地增强了它们作为世界模拟器的潜力。在这项工作中，我们提出了一种名为Vidu4D的新型重建模型，它在准确重建4D（即顺序3D）表示方面表现出色，解决了与非刚性和帧畸变相关的挑战。这种能力对于创建保持空间和时间连续性的高保真虚拟内容至关重要。Vidu4D的核心是我们提出的动态高斯曲面（DGS）技术。DGS通过优化时变的变形函数来将高斯曲面（表面元素）从静态状态转换为动态变形状态。这种转换使得对时间的运动和变形能够精确地描述。为了保持表面对齐的高斯曲面的结构完整性，我们设计了基于连续变形场用于估计法线的变形状态几何正则化。此外，我们学习了高斯曲面的旋转和缩放参数的细化，大大减轻了变形过程中的纹理闪烁，并增强了对细粒度外观细节的捕捉。Vidu4D还包含一种新颖的初始化状态，为DGS中的变形场提供了适当的起点。将现有的视频生成模型与Vidu4D配合使用，整个框架在外观和几何方面展示出高保真的文本到4D生成。

本论文旨在解决单个生成视频的4D（即时序三维）表示的精确重建问题，以应对非刚性和帧失真等挑战，从而创建具有空间和时间一致性的高保真虚拟内容。

本文提出了一种名为Dynamic Gaussian Surfels（DGS）的技术，通过优化时变弯曲函数来将高斯表面元素从静态状态转换为动态扭曲状态，从而实现精确描述运动和变形的能力。

该方法在几何规范化方面具有创新性，通过连续弯曲场估计法来保持表面对齐的高斯表面元素的结构完整性，并学习旋转和缩放参数的细化，从而提高了细节的捕捉能力。实验结果表明，该方法在外观和几何方面均能生成高保真的4D视频。

在相关研究方面，最近的一些研究包括：《Neural 3D Mesh Renderer》、《Learning to Reconstruct 3D Human Pose and Shape via Model-fitting in the Loop》等。