Channel-Partitioned Windowed Attention And Frequency Learning for Single Image Super-Resolution

最近，基于窗口的注意力方法在计算机视觉任务中，尤其是在单图像超分辨率（SISR）方面表现出了巨大的潜力。然而，它可能无法捕捉远距离令牌之间的长程依赖关系。此外，我们发现在空间域上学习不能传达图像的频率内容，这是SISR中的一个关键方面。为了解决这些问题，我们提出了一种新的通道分割注意力变换器（CPAT），通过沿着特征图的高度和宽度顺序扩展窗口，更好地捕捉长程依赖关系。此外，我们提出了一种新颖的空间频率交互模块（SFIM），它结合了空间和频率域的信息，提供了更全面的特征映射信息。这包括有关频率内容的信息，并增强了整个图像的接受域。实验结果证明了我们提出的模块和架构的有效性。特别是，CPAT在某些方面超过了当前最先进的方法，达到了0.31dB。

本文旨在解决单图超分辨率中长程依赖关系和频率内容的捕捉问题，并提出了一种新的通道分割注意力变换器（CPAT）和空间频率交互模块（SFIM）来解决这些问题。

CPAT通过沿着特征图的高度和宽度顺序扩展窗口来更好地捕捉长程依赖关系，而SFIM则结合了空间和频率域的信息，提供了一个更全面的特征图信息，包括频率内容和增强整个图像的感受野。

本文提出的CPAT和SFIM模块在单图超分辨率任务中表现出色，超过了当前最先进方法高达0.31dB。实验使用了多个数据集，并提供了开源代码。

最近的相关研究包括基于注意力机制的图像超分辨率方法，如SAN、DAN、RCAN等。