Semantically Consistent Video Inpainting with Conditional Diffusion Models

目前视频修复的最先进方法通常依赖于光流或基于注意力的方法，通过在帧之间传播视觉信息来修复掩蔽区域。虽然这些方法在标准基准测试中取得了显著进展，但是它们在需要合成其他帧中不存在的新内容的任务中表现不佳。在本文中，我们将视频修复重新定义为条件生成建模问题，并提出了使用条件视频扩散模型解决此类问题的框架。我们强调使用生成方法解决此任务的优点，表明我们的方法能够生成多样化、高质量的修复，并合成与所提供的上下文在空间、时间和语义上一致的新内容。

本论文试图解决视频修复中需要合成新内容的问题，提出了一种基于条件视频扩散模型的条件生成建模方法。

论文将视频修复视为条件生成建模问题，并提出了一种基于条件视频扩散模型的框架。相比于现有方法，该方法能够生成多样性高、质量好的修复结果，并能够合成与给定上下文空间、时间和语义上一致的新内容。

论文的实验结果表明，该方法在多个数据集上均取得了优异的表现，且能够处理需要合成新内容的情况。此外，论文还提出了一种新的评价指标来衡量视频修复结果的多样性。论文代码已经在Github上开源。

与本论文相关的研究包括：1. Deep Video Inpainting with Short-term Frame Prediction; 2. Video Inpainting via Temporally Shifted Exemplarization; 3. Learning Joint Spatial-Temporal Transformations for Video Inpainting.