CSA-Net: Channel-wise Spatially Autocorrelated Attention Networks

近年来，具有通道特征细化机制的卷积神经网络（CNN）已经为建模通道依赖关系带来了显著的好处。然而，当前的注意力范式未能推断出一个能够同时利用特征映射之间的统计和空间关系的最优通道描述符。在本文中，为了克服这一缺点，我们提出了一种新颖的通道空间自相关（CSA）注意机制。受地理分析的启发，所提出的CSA利用特征映射通道之间的空间关系来产生有效的通道描述符。据我们所知，这是地理空间分析概念首次用于深度CNN。所提出的CSA对深度模型的学习参数和计算开销影响微乎其微，使其成为强大而高效的注意模块选择。我们通过对ImageNet和MS COCO基准数据集进行广泛的实验和分析，验证了所提出的CSA网络（CSA-Nets）的有效性，用于图像分类、目标检测和实例分割。实验结果表明，CSA-Nets能够在不同的基准任务和数据集上始终实现竞争性能和优越的泛化性能，优于几种最先进的基于注意力的CNN。

本文旨在解决当前注意力机制无法同时利用特征图的空间和统计关系的问题。

提出了一种新的注意力机制——通道空间自相关（CSA）注意力机制，通过利用特征图通道之间的空间关系来生成有效的通道描述符。

实验结果表明，CSA-Net在图像分类、目标检测和实例分割等任务上均能够实现竞争性的性能和优越的泛化能力。同时，该注意力机制的学习参数和计算量较小，适用于深度模型的注意力模块。

当前相关研究包括CBAM、SENet、SKNet等注意力机制，以及利用空间关系的注意力机制如SAM、GCNet等。