在过去的两年里，人工智能在自然语言处理领域的突破达到了惊人的水平。很多重要的突破都是基于谷歌在 2017 年提出的 Transformer 架构。
但在模型之下，我们仍然不知道 Transformer 对其处理的单词做了什么。从普遍的理解来看，它们能够以某种方式关注多个单词，从而可以立即进行「全局」分析。但这究竟是如何做到的，或者这种说法是否是理解 Transformer 的正确方式，都还不清楚。我们知道「成分」，但却不了解「配方」。
现在，Anthropic 公司的研究人员进行的两项研究试图从根本上探究 Transformer 在处理和生成文本时会做什么。Anthropic 公司成立于 2021 年 5 月，团队主要由一批前 OpenAI 核心员工组成，致力于提高 AI 的安全性及可解释性。
第一篇论文发表于 2021 年的 12 月，作者着眼于架构的简化版本，并充分解释了它们的功能。以色列理工学院的 Yonatan Belinkov 表示：「这些简化架构很好地描述了 Transformer 在非常简单的情况下是如何工作的。我对这项工作非常感兴趣。它很有趣，同时很有前途，也比较独特和新颖。」

图片

论文链接：https://transformer-circuits.pub/2021/framework/index.html
作者还表明，简单的 Transformer 具备从学习基本语言模式到语言处理的一般能力。「你会看到能力的飞跃」，哈佛大学的 Martin Wattenberg 说道。研究团队已经开始破解 Transformer 的「配方」了。
在 2022 年发表的第二篇论文中，研究者表明，负责这种能力的相同组件在最复杂的 Transformer 中也能发挥作用。虽然这些模型背后的数学原理在很大程度上仍然难以理解，但该研究的结果提供了一种理解途径。「他们在简化版模型中发现的东西可以迁移到更大的模型中」，Conjecture 公司和研究小组 EleutherAI 的 Connor Leahy 说道。

图片

论文链接：https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html
理解 Transformer 的难点在于它们的抽象。传统程序遵循可理解的过程，例如每当看到「green」一词时，就输出「grass」一词，而 Transformer 将「green」一词转换为数字，然后将它们与某些值相乘。这些值（也称为参数）决定下一个单词是什么。Transformer 在训练的过程中得到微调，模型能够学会产生最佳输出，但目前尚不清楚模型学习的是什么。
大多数机器学习程序将数学打包为模块化的神经元。Transformer 则加入了一种额外的成分，称为注意力头（attention head），这些头分层排列（就像神经元一样）。但是头的运算方式与神经元不同。头的作用通常被理解为「允许程序记住输入的多个单词」，但这种解释并不确切。
「注意力机制显然是有效的。它取得了很好的效果，」Wattenberg 说。「但问题是它在做什么？我的猜测是它正在做很多我们不知道的事情。」
为了更好地理解 Transformer 的工作原理，Anthropic 的研究人员简化了架构，去掉了所有的神经元层和除了一层或两层注意力头之外的所有层。这让他们发现了 Transformer 和简化模型之间的联系。

内容中包含的图片若涉及版权问题，请及时与我们联系删除