How Transformers Learn Causal Structure with Gradient Descent

transformer在序列建模任务上的惊人成功很大程度上归功于自注意机制，它允许信息在序列的不同部分之间传递。自注意机制使得transformer能够编码因果结构，使其特别适合序列建模。然而，transformer通过基于梯度的训练算法学习这种因果结构的过程仍然不为人们所理解。为了更好地理解这个过程，我们引入了一个需要学习潜在因果结构的上下文学习任务。我们证明，简化的两层transformer上的梯度下降通过在第一层注意力中编码潜在因果图来学习解决这个任务。我们证明的关键洞察力是注意力矩阵的梯度编码了令牌之间的互信息。由于数据处理不等式，这个梯度的最大条目对应于潜在因果图中的边缘。作为一个特殊情况，当序列是从上下文马尔可夫链生成时，我们证明transformer学习归纳头（Olsson等人，2022）。我们通过展示在我们的上下文学习任务上训练的transformer能够恢复各种因果结构来证实我们的理论发现。

论文试图通过一个in-context学习任务来了解transformers如何通过梯度下降算法学习潜在的因果结构。这是一个新问题。

论文证明了在简化的两层transformer中，梯度下降算法可以通过编码潜在的因果图来解决in-context学习任务。关键洞见是注意力矩阵的梯度编码了tokens之间的互信息，而最大的梯度对应于潜在因果图中的边。

论文使用一个in-context学习任务来解决transformers如何学习潜在因果结构的问题，并证明了梯度下降算法可以通过编码潜在的因果图来解决这个任务。论文还展示了transformers在这个任务上的表现，并提供了一些相关工作的参考。

最近的相关研究包括Olsson等人的论文《Induction Heads and Unsupervised Learning in Transformers》，以及许多其他关于transformers和自注意力机制的研究。