I2VEdit: First-Frame-Guided Video Editing via Image-to-Video Diffusion Models

我们的扩展图像编辑工具到视频编辑的方法被称为I2VEdit。这个方法利用预先训练好的图像到视频模型，将单帧的编辑传播到整个视频，从而解决了视频编辑中时间维度所面临的额外挑战。相比于视频编辑，图像编辑已经见证了更多样化、高质量的方法和更强大的软件，如Photoshop。我们的方法可以自适应地保留源视频的视觉和运动完整性，有效地处理全局编辑、局部编辑和适度的形状变化，这是现有方法无法完全实现的。我们方法的核心包括两个主要过程：粗略运动提取，用于将基本运动模式与原始视频对齐；以及外观细化，使用细粒度的注意力匹配进行精确调整。我们还采用了跳帧策略来减轻跨多个视频片段进行自回归生成时的质量降低。实验结果表明，我们的框架在细粒度视频编辑方面表现优异，证明了它产生高质量、时间上一致的输出的能力。

论文试图将图像编辑的能力扩展到视频编辑领域，解决视频编辑中时间维度带来的挑战，实现精细的视频编辑。

论文提出了一种名为I2VEdit的方法，使用预训练的图像到视频模型将单帧的编辑传播到整个视频，通过粗略运动提取和外观细化两个过程实现对视频的编辑，并采用跳帧策略减少自回归生成对视频质量的影响。

论文的方法能够处理全局编辑、局部编辑和适度形状变化，表现出优秀的效果和时间上的一致性。实验使用多个数据集进行验证，证明了方法的有效性和优越性。

最近的相关研究包括视频编辑、图像编辑和深度学习模型的发展等，如《Deep Video Portraits》、《Deep Image Harmonization》等。