VIA: A Spatiotemporal Video Adaptation Framework for Global and Local Video Editing

视频编辑是数字媒体的基石，涵盖娱乐、教育和专业沟通等多个领域。然而，以往的方法往往忽略了全局和局部上下文的全面理解，导致在时空维度上进行不准确和不一致的编辑，特别是针对长视频。本文介绍了一种统一的时空视频适应框架VIA，用于全局和局部视频编辑，推动了一分钟长视频的一致编辑界限。首先，为了确保单个帧内的局部一致性，VIA的基础是一种新颖的测试时间编辑适应方法，该方法通过使预训练的图像编辑模型适应潜在的编辑方向和文本指令之间的一致性，并适应掩码潜变量进行精确的局部控制。此外，为了在整个视频序列中保持全局一致性，我们引入了时空适应，该适应方法在关键帧中适应一致的注意力变量，并在整个序列中策略性地应用它们以实现编辑效果。广泛的实验表明，与基线方法相比，我们的VIA方法产生的编辑更忠实于源视频，在时空上更连贯，在局部控制上更精确。更重要的是，我们展示了VIA可以在几分钟内实现一致的长视频编辑，释放了长视频序列上先进视频编辑任务的潜力。

论文旨在解决视频编辑中的全局和局部一致性问题，特别是针对长视频的编辑。通过提出一种统一的时空视频适应框架（VIA），实现长视频的一致性编辑。

VIA框架包括测试时间编辑适应方法和时空适应方法。测试时间编辑适应方法用于保证每一帧的局部一致性，时空适应方法用于保证整个视频序列的全局一致性。

论文的实验结果表明，与基线方法相比，VIA方法产生的编辑更加忠实于源视频，在时空上更加一致，并具有更精确的局部控制。此外，VIA可以在几分钟内实现一致性的长视频编辑。

相关研究包括：1.基于深度学习的视频编辑方法；2.视频编辑中的时间和空间一致性问题；3.视频编辑中的语义分割和掩膜技术。