CSA-Net: Channel-wise Spatially Autocorrelated Attention Networks

近年来，具有通道特征细化机制的卷积神经网络（CNN）已经显著提高了对通道依赖性的建模能力。然而，当前的注意力机制未能推断出一种能够同时利用特征图中的统计和空间关系的最佳通道描述符。为了克服这个缺点，本文提出了一种新的通道空间自相关（CSA）注意力机制。该机制受到地理分析的启发，利用特征图通道之间的空间关系来产生有效的通道描述符。据我们所知，这是地理空间分析概念首次应用于深度CNN中。所提出的CSA对深度模型的学习参数和计算开销影响极小，成为一种强大而高效的注意力模块。我们通过对ImageNet和MS COCO基准数据集进行广泛的实验和分析，验证了所提出的CSA网络（CSA-Nets）的有效性，包括图像分类、目标检测和实例分割。实验结果表明，与几种最先进的基于注意力的CNN相比，CSA-Nets能够在不同的基准任务和数据集上始终实现竞争性能和优越的泛化性能。

本文旨在解决当前注意力机制在同时利用特征映射的统计和空间关系方面的不足。

提出了一种新的通道空间自相关（CSA）注意机制，通过利用特征映射通道之间的空间关系来生成有效的通道描述符。

本文提出的CSA注意机制在深度模型中具有高效性和强大性，实验结果表明在图像分类、目标检测和实例分割任务中都能够实现具有竞争力的性能和优秀的泛化能力。

最近的相关研究包括CBAM、SENet和SKNet等注意力机制的改进方法。