What needs to go right for an induction head? A mechanistic study of in-context learning circuits and their formation

在转换器模型中，上下文学习是一种强大的新兴能力。在机械解释性的先前研究中，已经确定了一个电路元件可能对上下文学习至关重要——感应头（IH），它执行匹配和复制操作。在自然语言数据的大型转换器训练期间，IHs与损失的显著相位变化同时出现。尽管IHs有强有力的证据，并且与相位变化有趣的巧合，但IHs的多样性和出现动态仍知之甚少。为什么会有不止一个IH，它们是如何相互依存的？IHs为什么会突然出现，又是哪些子电路使它们能够出现？我们通过在合成数据上进行训练来研究IH的出现动态，回答了这些问题。在此过程中，我们开发并分享了一种新颖的光遗传学启发式因果框架，用于修改整个训练过程中的激活。使用这个框架，我们描述了IH的多样性和可加性。通过在整个训练过程中夹紧部分激活，我们确定了三个相互作用的底层子电路，推动IH的形成，产生相位变化。此外，这些子电路揭示了形成的数据相关属性，例如相位变化的时机，已经展示了更深入理解IH所需的子电路的潜力。

研究机器学习模型中的感应头（induction head）的多样性和涌现动态，探究其涌现机制

通过在合成数据上训练并使用一个新的optogenetics-inspired因果框架来研究感应头的涌现动态，发现感应头的多样性和加性特性，并确定了三个子电路相互作用以推动感应头形成，从而产生相变。

论文使用了新的optogenetics-inspired因果框架来研究感应头的涌现动态，探究其涌现机制。实验结果发现感应头具有多样性和加性特性，并确定了三个子电路相互作用以推动感应头形成，从而产生相变。

在机器学习领域，感应头的研究比较新颖，相关研究较少。