自注意力动态中聚类的涌现

The emergence of clusters in self-attention dynamics

通过粒子系统描述Transformer模型中自注意力动态下的聚类现象，通过几何分析和数学证明揭示了聚类现象的出现及其影响因素。

B Geshkovski, C Letrouit, Y Polyanskiy, P Rigollet (2023)

• 动机：探究自注意力动态下的聚类现象，以更好地理解Transformer模型的学习表示。
• 方法：用粒子系统描述Transformer模型中的自注意力动态，并通过几何分析证明了聚类现象的出现取决于值矩阵的谱。通过数值实验和理论分析证明了自注意力矩阵在一定条件下的收敛性和低秩性质。
• 优势：提供了对Transformer模型中自注意力动态和聚类现象的深入理解，并通过数学证明确认了聚类现象的出现及其影响因素。这些结果可以帮助优化Transformer模型的学习效果和表示能力。

https://arxiv.org/abs/2305.05465