KeyVID: Keyframe-Aware Video Diffusion for Audio-Synchronized Visual Animation

从各种条件生成视频，例如文本、图像和音频，能够同时实现空间和时间上的控制，从而获得高质量的生成结果。具有剧烈动作的视频通常需要更高的帧率以确保运动的流畅性。目前，大多数从音频生成视觉动画的模型使用从视频片段中均匀采样的帧。然而，这些均匀采样的帧在低帧率下无法捕捉剧烈动作中的重要关键时刻，并且在直接增加帧数时需要显著更多的内存资源。在本文中，我们提出了 KeyVID，一种基于关键帧的音频到视觉动画框架，它能够在保持计算效率的同时显著提升对音频信号中关键时刻的生成质量。给定一张图像和一段音频输入，我们首先从音频中定位关键帧的时间步。接着，我们使用关键帧生成器生成对应的视觉关键帧。最后，我们通过运动插值器生成所有中间帧。通过广泛的实验，我们证明了 KeyVID 在多个数据集上显著提升了音视频同步性和视频质量，尤其是在高度动态的动作场景中。代码已开源至 https://github.com/XingruiWang/KeyVID。

论文试图解决在低帧率条件下生成高质量动态视频的问题，特别是对于包含剧烈运动的场景。传统的均匀采样方法无法捕捉关键动作时刻，而增加帧数又会导致内存消耗显著增加。这是一个具体的技术挑战，但并非全新的问题，而是对现有音频到视觉动画模型的改进需求。

提出了一种名为KeyVID的关键帧感知音频到视觉动画框架。该框架通过从音频中定位关键时间点，生成对应的视觉关键帧，然后利用运动插值器生成中间帧。相比传统方法，KeyVID能够在减少计算资源的同时，显著提升关键动作时刻的生成质量和音频-视频同步效果。

论文通过多个数据集验证了KeyVID在高动态运动场景中的优越性，并且开源了代码（https://github.com/XingruiWang/KeyVID），为后续研究提供了便利。实验设计涵盖了不同类型的音频和视频内容，展示了模型的泛化能力。未来可以进一步探索更复杂的运动模式以及跨模态生成任务的可能性。

相关研究包括：1)「Audio2Face」系列工作，专注于从音频生成面部表情；2)「LipSync Expert」，用于唇形同步生成；3) 「Vid2Speech」，反向从视频生成音频；4) 「MotionGAN」，尝试通过生成对抗网络生成平滑的运动序列。这些方法大多依赖于均匀采样的帧或特定场景优化，而KeyVID则提出了一个通用的关键帧机制来应对动态场景。