SCSA: Exploring the Synergistic Effects Between Spatial and Channel Attention

通道和空间注意力分别在提取特征依赖性和空间结构关系方面为各种下游视觉任务带来了显着的改进。虽然它们的组合更有利于发挥它们的个体优势，但通道和空间注意力之间的协同作用尚未得到充分探索，缺乏充分利用多语义信息的协同潜力，以进行特征引导和减轻语义差异。我们的研究试图揭示在多个语义层面上空间和通道注意力之间的协同关系，提出了一种新的空间和通道协同注意模块（SCSA）。我们的SCSA由两部分组成：可共享的多语义空间注意力（SMSA）和逐渐改进的通道自注意力（PCSA）。SMSA集成了多语义信息，并利用逐渐压缩的策略将有区别的空间先验信息注入到PCSA的通道自注意力中，有效地引导通道重新校准。此外，PCSA中基于自注意机制的强大特征交互进一步减轻了SMSA中不同子特征之间的多语义信息差异。我们在七个基准数据集上进行了广泛的实验，包括在ImageNet-1K上进行分类，在MSCOCO 2017上进行对象检测，在ADE20K上进行分割以及其他四个复杂的场景检测数据集上进行实验。我们的结果表明，我们提出的SCSA不仅超越了当前最先进的注意力模型，而且在各种任务场景下展现出了增强的泛化能力。代码和模型可在以下网址获得：https://github.com/HZAI-ZJNU/SCSA。

本论文旨在探索通道和空间注意力之间的协同关系，提出了一种新的空间和通道协同注意力模块（SCSA），以更好地利用多语义信息进行特征引导和减轻语义差异。

SCSA模块由两部分组成：可共享的多语义空间注意力（SMSA）和渐进式通道自注意力（PCSA）。SMSA集成了多语义信息，利用渐进式压缩策略将判别性空间先验注入PCSA的通道自注意力中，有效地引导通道重新校准。

本文在七个基准数据集上进行了广泛的实验，包括ImageNet-1K的分类、MSCOCO 2017上的物体检测、ADE20K上的分割和其他四个复杂场景检测数据集。实验结果表明，SCSA不仅超越了当前最先进的注意力模块，而且在各种任务场景下展现出了增强的泛化能力。论文提供了代码和模型：https://github.com/HZAI-ZJNU/SCSA。

在这个领域中，最近的相关研究包括CBAM、SENet和SKNet等。