I2V-Adapter: A General Image-to-Video Adapter for Video Diffusion Models

在快速发展的数字内容生成领域，焦点已经从文本到图像（T2I）模型转向了更先进的视频扩散模型，尤其是文本到视频（T2V）和图像到视频（I2V）。本文解决了I2V所面临的复杂挑战：将静态图像转换为动态、逼真的视频序列，同时保持原始图像的保真度。传统方法通常涉及将整个图像整合到扩散过程中或使用预训练的编码器进行交叉注意力。然而，这些方法通常需要改变T2I模型的基本权重，从而限制了它们的可重用性。我们引入了一种新的解决方案，即I2V-Adapter，旨在克服这些限制。我们的方法保留了T2I模型及其固有的运动模块的结构完整性。I2V-Adapter通过并行处理带噪声的视频帧和输入图像，利用轻量级的适配器模块。该模块作为桥梁，高效地将输入链接到模型的自注意机制，从而在不需要对T2I模型进行结构更改的情况下保持空间细节。此外，I2V-Adapter仅需要传统模型的一小部分参数，并确保与现有的社区驱动的T2I模型和控制工具兼容。我们的实验结果证明了I2V-Adapter产生高质量视频输出的能力。这种性能，再加上它的多功能性和对可训练参数的需求降低，代表了AI驱动视频生成领域的重大进展，特别是对于创意应用。

论文旨在解决将静态图像转换为动态视频序列的问题，同时保留原始图像的保真度。传统方法通常需要改变T2I模型的基本权重，从而限制其可重用性。

该论文提出了一种名为I2V-Adapter的解决方案，旨在克服这些限制。该方法通过使用轻量级适配器模块，在与输入图像并行处理的过程中处理噪声视频帧，有效地将输入与模型的自我注意机制链接起来，从而保持空间细节而无需对T2I模型进行结构更改。

该方法仅需要传统模型的一小部分参数，并确保与现有的T2I模型和控制工具兼容。实验结果证明了I2V-Adapter产生高质量视频输出的能力。这种性能，再加上其多功能性和减少可训练参数的需求，代表了人工智能驱动视频生成领域的实质性进步，特别是对于创意应用。

在这个领域中，最近的相关研究包括：Image-to-Video Generation Using Scene Graphs和Generative Adversarial Networks for Video Generation and Compressed Sensing for Video.