论文标题： Beyond Natural Motion: Exploring Discontinuity for Video Frame Interpolation 

论文链接：https://arxiv.org/abs/2202.07291

视频插值是在给定两个连续帧的情况下合成中间帧的任务。以前的大多数研究都集中在适当的帧扭曲操作和扭曲帧的细化模块上。这些研究是针对只有连续运动的自然视频进行的。然而，很多实用的视频都包含很多不连续的动作，例如聊天窗口、水印、GUI 元素或字幕。我们提出了三种技术来扩展两个连续帧之间的过渡概念，以解决这些问题。首先是一种可以分离连续和不连续运动区域的新架构。我们还提出了一种新的数据增强策略，称为图形文本混合 (FTM)，以使我们的模型学习更一般的场景。最后，我们提出了损失函数，通过数据增强对不连续运动区域进行监督。我们收集了一个由一些手机游戏和聊天视频组成的特殊数据集。我们表明，我们的方法显着提高了特殊数据集上视频的插值质量。此外，我们的模型优于仅包含连续运动的自然视频数据集的最新方法，例如 DAVIS 和 UCF101.

内容中包含的图片若涉及版权问题，请及时与我们联系删除