注意力机制(Attention Mechanism)是人们在机器学习模型中嵌入的一种特殊结构，用来自动学习和计算输入数据对输出数据的贡献大小。本文以一个基于注意力机制的机器翻译模型为例，从人的直觉、中英文翻译的常识、特征工程等角度，对注意力机制的思想和机理进行了阐述；并介绍了一种常见的注意力机制实现形式，即基于感知机的注意力机制；还介绍了一种比较经典的注意力机制，即自注意力机制(self-attention)。

引言

注意力机制是上世纪九十年代，一些科学家在研究人类视觉时，发现的一种信号处理机制。人工智能领域的从业者把这种机制引入到一些模型里，并取得了成功。目前，注意力机制已经成为深度学习领域，尤其是自然语言处理领域，应用最广泛的“组件”之一。这两年曝光度极高的BERT、GPT、Transformer等等模型或结构，都采用了注意力机制。

我对NLP比较熟，而不太了解CV，因此在学习和整理注意力机制相关内容的时候，采用了注意力机制的思想:基本忽略CV相关内容，主要精力放在NLP方面。因此，本文基本不涉及CV同志们的工作。

阅读详细内容，点击下面的“阅读原文”链接。

内容中包含的图片若涉及版权问题，请及时与我们联系删除