Space-Time Video Super-resolution with Neural Operator

本文探讨了时空视频超分辨率（ST-VSR）任务。现有方法通常在大运动的运动估计和运动补偿（MEMC）问题上存在不准确的问题。受物理知识启发的神经网络的最新进展，我们将ST-VSR中MEMC的挑战建模为两个连续函数空间之间的映射。具体而言，我们的方法将粗粒度连续函数空间中的独立低分辨率表示转换为细粒度连续函数空间中具有丰富时空细节的精细表示。为了实现高效准确的MEMC，我们设计了一种Galerkin型注意力函数来执行帧对齐和时间插值。由于Galerkin型注意力机制的线性复杂度，我们的模型避免了补丁分区，并提供了全局感受野，从而实现了对大运动的精确估计。实验结果表明，所提出的方法在固定大小和连续时空视频超分辨率任务中均优于现有技术。

本论文致力于解决空时视频超分辨率(ST-VSR)中的运动估计和运动补偿(MEMC)问题，特别是针对大运动的问题。

本文提出了一种基于物理知识的神经网络方法，将MEMC的挑战建模为两个连续函数空间之间的映射，并设计了一种Galerkin型注意力机制来实现帧对齐和时间插值，从而实现了高效准确的MEMC。

该方法具有线性复杂度和全局感受野的优点，避免了补丁分区，能够精确估计大运动。实验结果表明，该方法在固定大小和连续空时视频超分辨率任务中均优于现有技术。

最近的相关研究包括：Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Compensation，Deep Video Super-Resolution with Motion Estimation and Compensation，Space-Time Video Super-Resolution with Deep Temporal and Spatial Networks。