FMA-Net: Flow-Guided Dynamic Filtering and Iterative Feature Refinement with Multi-Attention for Joint Video Super-Resolution and Deblurring

我们提出了一种视频超分辨率和去模糊的联合学习方案，称为VSRDB，旨在从模糊的低分辨率视频中恢复出干净的高分辨率视频。与单一恢复问题相比，这种联合恢复问题引起的关注要少得多。在本文中，我们提出了一种新颖的流引导动态滤波（FGDF）和多注意力迭代特征细化（FRMA）的组合，构成了我们的VSRDB框架，称为FMA-Net。具体而言，我们提出的FGDF能够通过复杂的运动表示学习，精确估计空时变退化和恢复核，这些核能够感知运动轨迹。与传统的动态滤波相比，FGDF使FMA-Net能够有效处理大运动进入VSRDB。此外，我们使用新颖的时间锚（TA）损失训练堆叠的FRMA块，这些块可以通过迭代更新以逐步细化特征。广泛的实验表明，所提出的FMA-Net在定量和定性质量方面优于现有技术。代码和预训练模型可在以下网站上获得：https://kaist-viclab.github.io/fmanet-site。

本论文旨在解决视频超分辨率和去模糊的联合恢复问题，即如何从模糊的低分辨率视频中恢复出清晰的高分辨率视频。这是一个相对较新的问题。

本论文提出了一种新的联合恢复框架FMA-Net，其中包括流引导的动态滤波（FGDF）和迭代特征细化与多注意力（FRMA）。FGDF能够通过复杂的运动表示学习精确估计时空变化的退化和恢复核，使得FMA-Net能够有效地处理大运动。FRMA块通过迭代更新以粗到细的方式进行特征细化，使用新的时间锚（TA）损失进行训练，以锚定和锐化特征。

本论文的实验结果表明，FMA-Net在定量和定性质量上均优于现有方法。论文提供了代码和预训练模型，并使用了多个数据集进行实验。值得进一步研究的工作包括如何处理更复杂的场景和更大的运动，以及如何将该方法应用于其他领域。

在最近的相关研究中，还有一些与视频超分辨率和去模糊相关的论文，例如：'Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Compensation'，'Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring'等。