FlexiFilm: Long Video Generation with Flexible Conditions

生成长且连贯的视频已成为一个重要而具有挑战性的问题。虽然大多数现有的基于扩散的视频生成模型是从图像生成模型派生而来的，在生成短视频方面表现出很好的性能，但它们的简单条件机制和采样策略-最初设计用于图像生成-在适应长视频生成时会导致严重的性能下降。这导致了明显的时间不一致和过度曝光。因此，在这项工作中，我们介绍了FlexiFilm，这是一个专为长视频生成而定制的新扩散模型。我们的框架包括一个时间条件器，以建立更一致的生成和多模态条件之间的关系，以及一个重新采样策略来解决过度曝光问题。实证结果表明，FlexiFilm生成长且连贯的视频，每个视频长度超过30秒，在定性和定量分析中优于竞争对手。项目页面：https://y-ichen.github.io/FlexiFilm-Page/

解决问题：论文旨在解决生成长视频时存在的时间不一致和过度曝光问题，提出了一种新的生成模型。

关键思路：论文提出了一种名为FlexiFilm的生成模型，该模型包括时间条件器和重新采样策略，以解决长视频生成中的时间不一致和过度曝光问题。

其他亮点：FlexiFilm生成的长视频质量优于其他竞争模型，每个视频长度超过30秒。实验结果定量和定性分析均得到了证实。论文提供了项目页面并开源了代码。

相关研究：最近的相关研究包括《VideoFlow: A Conditional Flow-Based Model for Stochastic Video Generation》和《Recursive Hierarchical Video Generation》。