CAMixerSR: Only Details Need More "Attention"

为了满足对大尺寸图像（2K-8K）超分辨率（SR）日益增长的需求，目前的方法遵循两个独立的轨道：1）通过内容感知路由加速现有网络，2）通过令牌混合精炼设计更好的超分辨率网络。尽管这些方法很直接，但它们会遇到不可避免的缺陷（例如，不灵活的路由或非判别性处理），从而限制了质量-复杂度平衡的进一步改进。为了消除这些缺陷，我们通过提出内容感知混合器（CAMixer）将这些方案集成在一起，为简单的上下文分配卷积和为稀疏纹理分配额外的可变形窗口注意力。具体而言，CAMixer使用可学习的预测器生成多个引导，包括用于窗口扭曲的偏移量、用于分类窗口的掩码以及用于赋予卷积动态属性的卷积注意力，该注意力自适应地调节以包括更多有用的纹理，并提高卷积的表示能力。我们还引入了全局分类损失来提高预测器的准确性。通过简单地堆叠CAMixer，我们获得了CAMixerSR，在大图像SR、轻量级SR和全向图像SR方面实现了卓越的性能。

本论文旨在解决大图像超分辨率（2K-8K）的问题，提出了一种新的方法CAMixer，旨在提高质量和复杂度之间的平衡。

CAMixer将内容感知路由和令牌混合器精炼相结合，通过分配卷积和可变变形窗口注意力来优化超分辨率网络。CAMixer使用可学习的预测器生成多个引导，包括窗口变形的偏移量、用于分类窗口的掩码以及用于为卷积赋予动态属性的卷积注意力。CAMixerSR通过简单堆叠CAMixer实现了卓越的大图像SR、轻量级SR和全向图像SR性能。

该论文的亮点包括CAMixer的新颖性和高效性，以及全局分类损失的引入。实验结果表明CAMixerSR在大图像SR、轻量级SR和全向图像SR方面均表现出色。论文使用了多个数据集进行实验，并开源了代码。值得进一步研究的工作包括如何进一步提高CAMixer的性能和适用性。

最近的相关研究包括《Learning Filter Basis for Convolutional Neural Network Compression》、《Deep Residual Learning for Image Recognition》和《Multi-Scale Dense Networks for Resource Efficient Image Classification》等。