RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation 论文链接:https://arxiv.org/abs/2011.06294 代码链接:https://github.com/hzwer/arXiv2020-RIFE 据作者称RIFE是第一个基于流的实时视频插帧算法,可以每秒30帧的速度处理720p视频。表现SOTA!性能优于BMBC、DAIN等网络,代码刚刚开源!作者单位:旷视科技, 北京大学

我们为视频插帧(VFI)提出了一种实时中间流估计算法(RIFE)。 大多数现有方法首先估算双向光流,然后将它们线性组合以近似中间流,从而导致运动边界周围出现伪影。 我们设计了一个中间流模型IFNet,它可以直接估计从粗到细的中间流。 然后,我们根据估计的中间流对输入帧进行扭曲,并采用融合过程来计算最终结果。 基于我们提出的leakage蒸馏技术,RIFE可以进行端到端训练并获得出色的性能。 实验表明,RIFE比现有的基于流的VFI方法要快得多,并且可以在多个基准上达到最新的指标。

内容中包含的图片若涉及版权问题,请及时与我们联系删除