4Diffusion: Multi-view Video Diffusion Model for 4D Generation

当前的4D生成方法在先进的扩散生成模型的帮助下已经取得了显著的效果。然而，这些方法缺乏多视角时空建模，并且在整合来自多个扩散模型的不同先验知识方面遇到挑战，导致时间外观不一致和闪烁。在本文中，我们提出了一种新的4D生成流程，名为4Diffusion，旨在从单目视频生成空间时间一致的4D内容。我们首先设计了一个统一的扩散模型，通过将可学习的运动模块纳入冻结的3D感知扩散模型中，以捕获多视角时空相关性，从而为多视角视频生成量身定制。在经过精选的数据集训练后，我们的扩散模型获得了合理的时间一致性，并固有地保持了3D感知扩散模型的通用性和空间一致性。随后，我们提出了基于我们的多视角视频扩散模型的4D感知评分蒸馏采样损失，以优化由动态NeRF参数化的4D表示。这旨在消除由多个扩散模型引起的差异，从而生成空间时间一致的4D内容。此外，我们设计了一个锚定损失，以增强外观细节并促进动态NeRF的学习。广泛的定性和定量实验表明，我们的方法相比之前的方法具有更优异的性能。

本篇论文旨在提出一种新的4D生成管道，名为4Diffusion，旨在从单目视频生成空间-时间一致的4D内容。该方法试图解决当前4D生成方法中缺乏多视角空间-时间建模和整合多个扩散模型的挑战，导致时间外观不一致和闪烁的问题。

论文的关键思路是将可学习的运动模块与3D感知扩散模型相结合，设计出一个面向多视角视频生成的统一扩散模型，以捕捉多视角空间-时间相关性。然后，使用基于多视角视频扩散模型的4D-aware Score Distillation Sampling loss来优化4D表示，以消除由多个扩散模型引起的不一致性，从而生成空间-时间一致的4D内容。

该论文的亮点包括：1. 提出了一种新的4D生成管道，可以从单目视频生成空间-时间一致的4D内容；2. 设计了一个面向多视角视频生成的统一扩散模型，以捕捉多视角空间-时间相关性；3. 提出了基于多视角视频扩散模型的4D-aware Score Distillation Sampling loss，以优化4D表示，并消除多个扩散模型引起的不一致性；4. 实验结果表明，该方法在质量和效率方面均优于当前现有的4D生成方法。

最近在这个领域中，还有一些相关的研究，如：《Neural Volumes: Learning Dynamic Renderable Volumes from Images》、《D-NeRF: Neural Radiance Fields for Dynamic Scenes》、《Neural Sparse Voxel Fields》等。