AnimateDiff-Lightning: Cross-Model Diffusion Distillation

我们提出了AnimateDiff-Lightning，用于快速生成视频。我们的模型使用渐进式对抗扩散蒸馏来实现少步骤视频生成的新颖技术。我们讨论了我们对其进行的修改，以适应视频模态。此外，我们建议同时蒸馏多个基础扩散模型的概率流，从而得到具有更广泛样式兼容性的单个蒸馏运动模块。我们很高兴向社区发布我们的蒸馏AnimateDiff-Lightning模型，供大家使用。

AnimateDiff-Lightning试图解决视频生成中的瓶颈问题，即生成速度慢的问题。

论文提出了一种新的生成视频的方法，即使用渐进式对抗性扩散蒸馏来实现快速的视频生成。

论文对该方法进行了改进，使其适用于视频模态，并提出了同时蒸馏多个基础扩散模型的概率流，从而得到具有更广泛风格兼容性的单个蒸馏运动模块。此外，论文还开源了其模型。

最近的相关研究包括：《Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation》、《Adversarial Video Generation with a Hierarchical Latent Variable Model》、《Video Generation from Text》等。