SC4D: Sparse-Controlled Video-to-4D Generation and Motion Transfer

最近2D/3D生成模型的进展使得可以从单视角视频生成动态3D物体。现有方法利用分数蒸馏采样来形成动态场景，如动态NeRF或密集的3D高斯模型。然而，由于NeRF的隐式性质或复杂的密集高斯运动预测，这些方法在单视角条件下很难在参考视角对齐、时空一致性和运动保真度之间取得平衡。为了解决这些问题，本文提出了一种高效的、稀疏控制的视频到4D框架，名为SC4D，它将运动和外观解耦以实现卓越的视频到4D生成。此外，我们引入了自适应高斯初始化和高斯对齐损失来缓解形状退化问题，确保所学习的运动和形状的保真度。全面的实验结果表明，我们的方法在质量和效率方面均超过了现有方法。此外，由于SC4D对运动和外观进行了解耦建模，我们开发了一种新的应用程序，根据文本描述将学习到的运动无缝转移到各种4D实体上。

本论文旨在解决单视角条件下，参考视角对齐、时空一致性和运动保真度之间的平衡问题，提出了一种名为SC4D的高效稀疏控制视频到4D框架，以实现优秀的视频到4D生成。

SC4D框架通过解耦运动和外观，实现了优秀的视频到4D生成。并且引入了自适应高斯初始化和高斯对齐损失，以解决形状退化问题，确保了学习到的运动和形状的保真度。

本论文提出的SC4D框架在质量和效率上均优于现有方法，并且可以将学习到的运动无缝地转移到各种4D实体中，这是一个新的应用方向。实验使用了多个数据集，并且开源了代码。

相关研究包括：D-NeRF、GIRAFFE、Neural Volumes、GRAF等。