Online Continual Learning of Video Diffusion Models From a Single Video Stream

扩散模型在生成逼真视频方面表现出了非凡的能力。然而，它们的训练主要局限于离线环境，模型可以重复训练独立同分布数据直至收敛。本研究探讨了从语义连续的视频流中训练扩散模型的可行性，其中相关联的视频帧按顺序一个接一个地到达。为了研究这一点，我们引入了两个新的连续视频生成建模基准，即终身弹跳球和Windows 95迷宫屏幕保护程序，每个基准包含超过一百万个从静止环境中导航生成的视频帧。令人惊讶的是，我们的实验表明，使用经验回放可以有效地在线训练扩散模型，在相同数量的梯度步骤下，其性能可与使用独立同分布样本训练的模型相媲美。

本论文试图探究将Diffusion Model应用于连续视频流的训练，以解决当前该领域中离线训练的限制性问题。

通过引入两个新的视频生成建模基准测试——Lifelong Bouncing Balls和Windows 95 Maze Screensaver，本论文证明了使用经验回放的在线训练方法可以有效地训练Diffusion Model，并且在相同的梯度步数下可以达到与使用i.i.d.样本训练的模型相当的性能。

本论文提出了在线训练Diffusion Model的方法，并且通过实验设计和两个新的基准测试数据集的引入，展示了这种方法的有效性。此外，本论文的工作也为解决离线训练的限制性问题提供了一种新思路。

近期相关研究包括：1.《VideoFlow: A Conditional Flow-Based Model for Stochastic Video Generation》；2.《Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks》。