Sparse Global Matching for Video Frame Interpolation with Large Motion

本文介绍了一种新的视频帧插值（VFI）任务的处理流程，能够有效地集成全局级别信息以缓解大运动问题带来的影响。现有方法通常受限于有限的感受野，在处理大运动场景时表现不佳。具体而言，我们首先使用高分辨率特征图估计一对初始中间流以提取局部细节。然后，我们结合稀疏全局匹配分支来补偿流估计，该分支由识别初始流中的缺陷和生成具有全局感受野的稀疏流补偿组成。最后，我们自适应地将初始流估计与全局流补偿合并，得到更准确的中间流。为了评估我们的方法在处理大运动方面的有效性，我们从常用基准数据集中精心筛选了更具挑战性的子集。我们的方法在这些具有大运动的VFI子集上表现出了最先进的性能。

本论文旨在解决视频帧插值任务中的大运动挑战，提出了一种新的管道来有效地集成全局级别信息以缓解大运动带来的问题。

论文的关键思路是首先使用高分辨率特征图估计一对初始中间流以提取局部细节，然后加入稀疏全局匹配分支来补偿流估计，最后自适应地合并初始流估计和全局流补偿，产生更精确的中间流。

论文在常用基准测试集的基础上，精心策划了一个更具挑战性的子集来评估其在处理大运动方面的有效性。实验结果表明，该方法在这些具有大运动的VFI子集上表现出最先进的性能。

与此相关的最近研究包括：《Deep Video Frame Interpolation using Cyclic Frame Generation》、《Flow-edge Guided Video Frame Interpolation with Improved Occlusion Handling》、《Deep Voxel Flow for Video Frame Interpolation》等。