EchoReel: Enhancing Action Generation of Existing Video Diffusion Models

最近，大规模的视频数据集促进了 Video Diffusion Models (VDMs) 生成多样化的开放领域视频。然而，VDMs 吸收这些数据集中复杂知识的有效性仍受其固有规模的限制，导致生成许多动作的理解和综合不够优化。本文介绍了 EchoReel，一种新颖的方法，通过模拟来自数据库或在线存储库中的预先存在的视频的运动，增强了 VDMs 生成复杂动作的能力。EchoReel 与现有的 VDMs 无缝集成，增强了它们产生逼真动作的能力，而不会影响它们的基本能力。具体而言，引入了 Action Prism (AP)，从参考视频中提取运动信息，只需要对小型数据集进行训练。利用预训练的 VDMs 的知识，EchoReel 通过额外的层将新的动作特征融入 VDMs 中，消除了进一步微调未经训练的动作的需要。广泛的实验表明，EchoReel 不仅仅是复制参考视频的全部内容，而且在现有的 VDMs 直接失败的情况下，它显著提高了逼真动作的生成。

论文旨在通过模拟预先存在的视频中的动作，增强视频扩散模型（VDMs）在生成复杂动作方面的能力，以提高其在吸收来自大规模视频数据集中的复杂知识方面的效率。

论文提出了EchoReel，一种新颖的方法，通过从预先存在的视频中提取运动信息来增强VDMs生成复杂动作的能力，而无需对未经训练的动作进行微调。这种方法利用了预先训练的VDMs的知识，并通过额外的层将新的动作特征整合到VDMs中。

论文提出的Action Prism（AP）可以从参考视频中提取运动信息，而只需要对小型数据集进行训练。EchoReel可以显著提高生成逼真动作的能力，即使在现有VDMs可能直接失败的情况下也是如此。论文的实验结果表明，EchoReel不仅仅是复制参考视频的整个内容，而且可以生成更加逼真的动作。

最近在这个领域中的相关研究包括：《Learning to Simulate Dynamic Environments with GameGAN》、《Video Generation from Text》、《Generative Adversarial Networks for Video Generation and Compressed Sensing》等。