Be-Your-Outpainter: Mastering Video Outpainting through Input-Specific Adaptation

视频外延是一项具有挑战性的任务，旨在在保持帧内和帧间一致性的同时，在输入视频的视口之外生成视频内容。现有方法在生成质量或灵活性方面存在缺陷。我们介绍了 MOTIA（通过输入特定适应改善视频外延），这是一个基于扩散的流程，利用源视频的内在数据特定模式和图像/视频生成先验知识进行有效的外延。MOTIA包括两个主要阶段：输入特定适应和模式感知外延。输入特定适应阶段涉及对单镜头源视频进行高效有效的伪外延学习。该过程鼓励模型识别和学习源视频中的模式，并弥合标准生成过程和外延之间的差距。随后的模式感知外延阶段致力于将这些学习到的模式推广到生成外延结果。提出了额外的策略，包括空间感知插入和噪声传播，以更好地利用扩散模型的生成先验知识和从源视频中获得的视频模式。广泛的评估强调了MOTIA的优越性，在广泛认可的基准测试中胜过现有的最先进方法。值得注意的是，这些进展是在不需要大量的任务特定调整的情况下实现的。

本论文旨在解决视频外扩问题，即如何在保持帧内和帧间一致性的同时生成视频视口之外的内容。同时，该论文还试图通过数据特定模式和图像/视频生成先验知识来提高生成质量和灵活性。

该论文提出了一种基于扩散的流程，称为MOTIA，该流程利用源视频的内在数据特定模式和图像/视频生成先验知识进行有效的外扩。该方法包括两个主要阶段：输入特定适应和模式感知外扩。输入特定适应阶段涉及在单镜头源视频上进行高效有效的伪外扩学习。该过程鼓励模型识别和学习源视频中的模式，并弥合标准生成过程和外扩之间的差距。随后的模式感知外扩阶段致力于将这些学习到的模式推广到生成外扩结果。此外，还提出了空间感知插入和噪声传播等策略，以更好地利用扩散模型的生成先验知识和从源视频中获得的视频模式。

该论文在广泛认可的基准测试中优于现有的最先进方法，而无需进行大量的任务特定调整。此外，论文还提供了实验设计和使用的数据集，并开源了代码。该论文的亮点还包括提出的伪外扩学习方法以及模式感知外扩阶段中的新策略。

最近在这个领域中，还有一些相关的研究，如Deep Video Inpainting Using the Temporal Cycle-Consistency Learning等。