Magic 1-For-1: Generating One Minute Video Clips within One Minute

在本技术报告中，我们介绍了Magic 1-For-1 (Magic141)，这是一种高效的视频生成模型，具有优化的内存消耗和推理延迟。核心思想非常简单：将文本到视频的生成任务分解为两个独立且更简单的任务来进行扩散步骤蒸馏，即文本到图像生成和图像到视频生成。我们验证了在同一优化算法下，图像到视频任务确实比文本到视频任务更容易收敛。我们还探索了一系列优化技巧，从三个方面减少训练图像到视频（I2V）模型的计算成本：1) 通过使用多模态先验条件注入加速模型收敛；2) 通过应用对抗性步骤蒸馏加速推理延迟；3) 通过参数稀疏化优化推理内存成本。利用这些技术，我们能够在3秒内生成5秒的视频片段。通过应用测试时滑动窗口，我们能够在一分钟内生成长达一分钟的视频，并显著提高视觉质量和运动动态，平均生成1秒视频片段的时间不到1秒。我们进行了一系列初步探索，以找到扩散步骤蒸馏过程中计算成本和视频质量之间的最佳权衡，并希望这能成为开源探索的良好基础模型。代码和模型权重可在https://github.com/DA-Group-PKU/Magic-1-For-1获取。

该论文试图解决高效生成高质量视频的问题，特别是在优化内存消耗和推理延迟方面。这是一个在AI生成内容领域中持续探索的问题，但Magic 1-For-1提出了新的解决方案以提高效率和质量。

关键思路是将文本到视频的生成任务分解为两个更简单的任务：文本到图像生成和图像到视频生成。通过这种分解，作者能够利用扩散步骤蒸馏来加速收敛，并且通过多模态先验条件注入、对抗步骤蒸馏和参数稀疏化等技术进一步优化计算成本。相比当前研究，这种方法简化了复杂任务并显著提高了效率。

亮点包括：1) 提出了一个创新的两阶段生成框架；2) 使用多种优化技巧减少了训练和推理的时间及内存成本；3) 实现了高质量5秒视频片段的快速生成（<3秒），并通过滑动窗口方法扩展到了更长视频的高效生成；4) 开源了代码和模型权重，便于社区进一步研究。这些成果展示了在保持或提升视觉质量的同时大幅降低计算资源需求的可能性。

近期相关研究包括：《Text-to-Video Generation with Adversarial Temporal Consistency》、《High-Fidelity Video Generation with VQ-VAE and Temporal Attention》以及《Efficient Video Generation via Hierarchical Diffusion Models》。这些研究都在探索如何提高视频生成的质量和效率，而Magic 1-For-1则通过其独特的两阶段方法提供了新的见解。