Learning Spatial Adaptation and Temporal Coherence in Diffusion Models for Video Super-Resolution

扩散模型在图像超分辨率任务中正处于临界点。然而，利用扩散模型进行视频超分辨率并不容易，这不仅需要保留从低分辨率到高分辨率视频的视觉外观，还需要跨视频帧的时间一致性。本文提出了一种新的方法，即追求空间适应性和时间一致性（SATeCo），用于视频超分辨率。SATeCo基于从低分辨率视频中学习空间-时间引导来校准潜在空间高分辨率视频去噪和像素空间视频重建。技术上，SATeCo冻结了预训练的UNet和VAE的所有参数，并仅优化两个特意设计的空间特征适应（SFA）和时间特征对齐（TFA）模块，位于UNet和VAE的解码器中。SFA通过自适应估计每个像素的仿射参数来调节帧特征，保证高分辨率帧合成的像素级引导。TFA通过自我注意力深入探讨3D局部窗口（tubelet）内的特征交互，并在tubelet和其低分辨率对应物之间执行交叉注意力以指导时间特征对齐。在REDS4和Vid4数据集上进行的大量实验表明了我们方法的有效性。

本文旨在提出一种新的方法，解决视频超分辨率任务中的空间适应性和时间一致性问题，以实现从低分辨率视频到高分辨率视频的视觉外观保持和时间一致性。

SATeCo是一种新的方法，通过学习低分辨率视频的空间-时间指导来校准高分辨率视频去噪和像素重建，并通过空间特征适应和时间特征对齐模块实现。

本文的亮点在于，提出了一种新的方法SATeCo，通过空间特征适应和时间特征对齐模块来解决视频超分辨率任务中的空间适应性和时间一致性问题。作者在REDS4和Vid4数据集上进行了广泛的实验，并证明了该方法的有效性。

最近的相关研究包括使用GAN的视频超分辨率方法和基于流的方法。