Perception-Oriented Video Frame Interpolation via Asymmetric Blending

以前的视频帧插值（VFI）方法遇到了挑战，尤其是模糊和残影效应的表现。这些问题可以追溯到两个关键因素：无法避免的运动误差和监督中的不对齐。在实践中，运动估计经常证明是容易出错的，导致特征不对齐。此外，重建损失往往会带来模糊的结果，特别是在不对齐的区域。为了缓解这些挑战，我们提出了一种新的范式，称为感知导向视频帧插值（PerVFI）。我们的方法包括一个使用两侧特征协同混合中间特征的非对称协同混合模块（ASB）。一个参考帧强调主要内容，而另一个则提供补充信息。为了对混合过程施加严格的约束，我们引入了一个自学习的稀疏准二进制掩码，可以有效地减轻输出中的残影和模糊伪影。此外，我们采用基于归一化流的生成器，并利用负对数似然损失来学习输出的条件分布，进一步促进了清晰和精细细节的生成。实验结果验证了PerVFI的优越性，与现有方法相比，在感知质量方面有显着的改进。代码可在\url{https://github.com/mulns/PerVFI}上获得。

PerVFI试图解决视频帧插值中出现的模糊和幽灵效应问题，这些问题源于运动估计误差和监督不准确。

PerVFI采用了一个称为Asymmetric Synergistic Blending module（ASB）的模块，利用两侧的特征来协同地混合中间特征，以减轻模糊和幽灵效应问题，并引入了一种自学习的稀疏准二进制掩码来强制约束混合过程。

PerVFI还使用了基于正态化流的生成器，并利用负对数似然损失来学习输出的条件分布，从而进一步促进了清晰和精细细节的生成。实验结果表明，PerVFI相对于现有方法具有显着的感知质量改进，并提供了可用的代码。

最近的相关研究包括：《Deep Video Interpolation》、《Super SloMo: High Quality Estimation of Multiple Intermediate Frames for Video Interpolation》、《Quadratic Video Interpolation》等。