Generalizable Implicit Motion Modeling for Video Frame Interpolation

运动建模在基于流的视频帧插值（VFI）中至关重要。现有的范例要么考虑双向流的线性组合，要么直接预测给定时间戳的双向流，而不探索有利的运动先验，因此缺乏有效建模现实世界视频中时空动态的能力。为了解决这个限制，本研究介绍了一种新颖有效的VFI运动建模方法——通用隐式运动建模（GIMM）。具体而言，为了使GIMM成为一种有效的运动建模范例，我们设计了一个运动编码管道，从预训练的流估计器中提取双向流，模拟时空运动潜在性，有效地表示输入特定的运动先验。然后，我们通过自适应基于坐标的神经网络隐式预测相邻两个输入帧之间的任意时间步长的光流，其中时空坐标和运动潜在性为输入。我们的GIMM可以与现有的基于流的VFI工作无需进一步修改地平滑集成。我们展示了GIMM在VFI基准测试中表现优于当前的最新技术水平。

解决问题：本文旨在解决流基视频帧插值中运动建模的问题，提出了一种新的方法。

关键思路：本文提出了一种广义隐式运动建模的方法，通过设计运动编码管道来建模从预训练的流估计器中提取的双向流的时空运动潜在变量，并通过自适应坐标系神经网络隐式预测任意时间步长的光流。

其他亮点：本文的方法可以与现有的流基视频帧插值方法无缝集成，实验结果表明其性能优于当前最先进的方法。本文使用了公开数据集，并提供了开源代码。

相关研究：最近的相关研究包括：《Flow-edge Guided Video Frame Interpolation》、《Deep Video Frame Interpolation using Cyclic Frame Generation》等。