注意力机制和人类的视觉注意力很相似，人类的注意力是人类视觉所特有的大脑信号处理机制。人类通过快速扫描全局图像，获得需要重点关注的目标区域，得到注意力焦点，而后对这一区域投入更多注意力，以获取更多所需要关注目标的细节信息，从而抑制其他无用信息。这是人类利用有限的注意力资源从大量信息中快速筛选出高价值信息的手段，是人类在长期进化中形成的一种生存机制，极大地提高了视觉信息处理的效率与准确性。比如给一张印有图片的报纸，那人会先去看报纸的标题，然后会看显目的图片。

深度学习中的注意力机制从本质上讲和人类的选择性视觉注意力机制类似，目的也是从众多信息中选择出对当前任务目标更关键的信息。

本文从SCA-CNN中提到的channel-wise的角度来理解注意力机制,paper地址：SCA-CNN.

内容中包含的图片若涉及版权问题，请及时与我们联系删除