Grid Diffusion Models for Text-to-Video Generation

最近扩散模型的进展显著提高了文本到图像的生成能力。但是，从文本生成视频比从文本生成图像更具挑战性，因为需要更大的数据集和更高的计算成本。大多数现有的视频生成方法使用考虑时间维度的3D U-Net架构或自回归生成。这些方法需要大量的数据集，并且与文本到图像生成相比，在计算成本方面存在限制。为了解决这些挑战，我们提出了一种简单而有效的新型网格扩散方法，用于文本到视频的生成，不需要时间维度的架构和大量的文本-视频配对数据集。我们可以将视频表示为网格图像，使用固定数量的GPU内存生成高质量的视频，而不管帧数如何。此外，由于我们的方法将视频的维度降低到图像的维度，因此可以应用各种基于图像的方法来处理视频，例如从图像处理到文本引导的视频操作。我们提出的方法在定量和定性评估中都优于现有方法，证明了我们的模型适用于现实世界的视频生成。

解决问题：本论文提出了一种简单而有效的文本到视频生成方法，旨在解决从文本生成视频的挑战，包括大规模数据集和高计算成本。

关键思路：本论文提出了一种基于网格扩散的文本到视频生成方法，通过将视频表示为网格图像，从而在不考虑时间维度的情况下生成高质量视频。这种方法可以应用于各种基于图像的方法，如文本引导的视频操作。

其他亮点：论文的实验结果表明，该方法在定量和定性评估中优于现有方法，证明了该模型在实际视频生成中的适用性。此外，论文还开源了数据集和代码，方便其他研究人员使用和参考。

相关研究：最近的相关研究包括使用3D U-Net架构或自回归生成方法来生成视频。