Towards Unified Keyframe Propagation Models

论文/Paper: http://arxiv.org/pdf/2205.09731

代码/Code: https://github.com/runwayml/guided-inpainting

标题：迈向统一的关键帧传播模型

对比SOTA 模型效果：

许多视频编辑任务（例如转描或对象移除）都需要跨帧传播上下文。虽然transformers和其他基于注意力的全局聚合特征的方法在将对象掩码从关键帧传播到整个视频方面取得了巨大成功，但它们很难稳定地传播诸如纹理之类的高频细节。我们假设这是由于全局注意力对低频特征的固有偏见。为了克服这个限制，我们提出了一种双流方法，其中高频特征在本地交互，低频特征在全局交互。全局交互流在困难情况下保持稳健，例如显式对齐失败的大型相机运动。局部交互流通过可变形特征聚合传播高频细节，并根据全局交互流学习检测和纠正变形场的错误。我们评估了用于修复任务的双流方法，其中实验表明，它改善了图像修复所需的单帧内特征的传播，以及它们从关键帧到目标帧的传播。应用于视频修复，我们的方法导致 FID 和 LPIPS 分数分别提高了 44% 和 26%。

内容中包含的图片若涉及版权问题，请及时与我们联系删除