Iteration Head: A Mechanistic Study of Chain-of-Thought

链式推理（CoT）被认为在实证和理论逼近能力方面都能提高大型语言模型的表现。然而，我们对CoT能力的内部运作和出现条件的理解仍然有限。本文通过在可控且可解释的环境中展示CoT推理如何在变压器中出现来填补这一空白。具体来说，我们观察到出现了一个专门用于迭代推理的注意力机制，我们称之为“迭代头”。我们追踪这些迭代头的出现和精确工作，直到注意力水平，并测量它们所产生的CoT技能在任务之间的可转移性。

论文旨在探讨Chain-of-Thought（CoT）推理在transformers中的出现和工作机制，并衡量这种推理技能的可转移性。这是一个新问题吗？

论文发现transformers中出现了一种专门用于迭代推理的注意力机制，称为“iteration heads”，并跟踪了这些iteration heads的出现和工作机制，包括注意力水平。相比当前领域的研究，这篇论文的关键思路是通过探索transformers内部机制来解释CoT推理的出现和工作机制。

论文通过实验设计和数据集使用来验证iteration heads的出现和工作机制，并衡量了CoT推理技能的可转移性。论文的实验数据和开源代码可以为后续研究提供参考。值得关注的是，这篇论文提供了对transformers内部机制的深入理解，有助于解释其在自然语言处理任务中的表现。

在这个领域中，还有一些相关研究。其中一些论文包括：《Attention Is All You Need》、《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》、《XLNet: Generalized Autoregressive Pretraining for Language Understanding》等。