论文标题：Coordinate Attention for Efficient Mobile Network Design 论文链接：https://arxiv.org/abs/2103.02907 代码链接:：https://github.com/Andrew-Qibin/CoordAttention 作者单位：南洋理工大学 Coordinate Attention，可以插入到移动网络中，如助力MobileNetV2、EfficientNet等网络涨点，性能优于SE、CBAM等注意力模块，还可提高检测、分割性能，代码即将开源！

移动网络设计的最新研究表明，通道注意力（例如，SE注意力）对于提升模型性能具有显著效果，但它们通常会忽略位置信息，这对于生成空间选择性注意图非常重要。在本文中，我们通过将位置信息嵌入到通道注意力中提出了一种新颖的移动网络注意力机制，我们将其称为“coordinate attention”。与通过2D全局池化将特征张量转换为单个特征向量的通道注意力不同，coordinate注意力将通道注意力分解为两个1D特征编码过程，分别沿两个空间方向聚合特征。这样，可以沿一个空间方向捕获远程依赖关系，同时可以沿另一空间方向保留精确的位置信息。然后将生成的特征图分别编码为一对方向感知和位置敏感的注意图，可以将其互补地应用于输入特征图，以增强关注对象的表示。我们的coordinate注意力很简单，可以灵活地插入到经典的移动网络中，例如MobileNetV2，MobileNeXt和EfficientNet，而几乎没有计算开销。大量实验表明，我们的coordinate注意力不仅有益于ImageNet分类，而且更有趣的是，它在下游任务（如目标检测和语义分割）中表现更好。

内容中包含的图片若涉及版权问题，请及时与我们联系删除