识别不显著特征是模型压缩的关键。然而，这一点在注意力机制中却没有得到研究。在这项工作中提出了一种新的基于规范化的注意力模块(NAM)，它抑制了较少显著性的权值。它对注意力模块应用一个权重稀疏惩罚，因此，在保持类似性能的同时，使它们更有效地计算。通过与ResNet和MobileNet上其他三种注意力机制的比较，表明本文的方法具有更高的准确性。

论文地址：

https://arxiv.org/abs/2111.12419

代码：

https://github.com/Christian-lyc/NAM

本文提出NAM作为一种高效、轻量级的注意力机制。NAM采用CBAM的模块整合，重新设计了通道和空间注意力子模块。然后，在每个网络块的末端嵌入一个NAM模块。对于残差网络，它嵌入在残差结构的末端。对于通道注意子模块，使用批归一化(BN)中的比例因子。

内容中包含的图片若涉及版权问题，请及时与我们联系删除