论文标题：FDAN: Flow-guided Deformable Alignment Network for Video Super-Resolution

论文链接：https://arxiv.org/abs/2105.05640

作者单位：中国科学院自动化研究所

本文将光流引入视频超分辨率的可变形对齐中以处理快速运动，并进一步探讨了光流与可变形卷积的集成策略，表现SOTA！性能优于RSDN、TGA等网络。

大多数视频超分辨率（VSR）方法都是通过对齐视频的相邻帧并在这些帧上挖掘信息来增强视频参考帧的。最近，可变形对齐由于其出色的性能而在VSR社区引起了广泛的关注，它可以自适应地将相邻帧与参考帧对齐。但是，我们通过实验发现，由于局部损失驱动的偏移量预测，可变形对齐方法仍然遭受快速运动的困扰，并且缺乏明确的运动约束。因此，我们提出了一个基于匹配的光流估计（MFE）模块来进行全局语义特征匹配，并将光流估计为每个位置的粗略偏移量。提出了一种Flow-guided Deformable Module（FDM），将光流整合到可变形卷积中。 FDM首先使用光流扭曲相邻帧。然后，将扭曲的相邻帧和参考帧用于针对每个粗略偏移量预测一组精细偏移量。总的来说，我们提出了一个端到端的深层网络，称为光流导向的可变形对齐网络（FDAN），该网络在两个基准数据集上达到了最先进的性能，同时在计算和内存消耗方面仍然具有竞争力。

内容中包含的图片若涉及版权问题，请及时与我们联系删除