论文标题：SA-Net: Shuffle Attention for Deep Convolutional Neural Networks 论文链接：https://arxiv.org/abs/2102.00240 代码链接：https://github.com/wofmanaf/SA-Net 作者单位：南京大学计算机软件新技术国家重点实验室 本文提出一种高效的Shuffle Attention(SA)，可很好地结合空间和通道注意力，可与现有主干网络结合使用，如ResNet+ SA很香，优于SENet等，对检测、分割等下游任务也涨点明显，代码即将开源！

注意力机制使神经网络能够准确地专注于输入的所有相关元素，它已成为改善深度神经网络性能的重要组成部分。在计算机视觉研究中，主要有两种广泛使用的注意力机制：空间注意力和通道注意力，它们分别用于捕获像素级成对关系和通道依赖性。尽管将它们融合在一起可能会比其单独的实现获得更好的性能，但这将不可避免地增加计算开销。在本文中，我们提出了一个有效的Shuffle Attention（SA）模块来解决此问题，该模块采用Shuffle单元有效地结合了两种类型的注意力机制。具体而言，SA首先将通道维分组为多个子特征，然后再并行处理它们。然后，对于每个子特征，SA利用Shuffle Unit在空间和通道维度上描绘特征依赖性。之后，将所有子特征汇总在一起，并采用“channel shuffle”运算符来启用不同子特征之间的信息通信。所提出的SA模块既有效又高效效，例如，针对ResNet50的SA的参数和计算分别为300 vs. 25.56M和2.76e-3 GFLOP与4.12 GFLOP，并且性能提升在1.34％以上。 在常用基准上的大量实验结果（包括用于分类的ImageNet-1k，用于目标检测的MS COCO和实例分割）表明，所提出的SA通过获得较高的精度而具有较低的模型复杂性，从而明显优于当前的SOTA方法。

内容中包含的图片若涉及版权问题，请及时与我们联系删除