Analyzing the Mechanism of Attention Collapse in VGGT from a Dynamics Perspective

视觉几何接地变换器（VGGT）在前馈式三维重建任务中达到了当前最优水平，但当输入序列超过数百帧时，其全局自注意力层会出现严重的坍塌现象：注意力矩阵迅速退化为近似秩一矩阵，令牌的几何结构坍缩至几乎一维的子空间，且重建误差呈超线性增长。本报告通过将全局注意力的迭代过程视为一种退化扩散过程，为该坍塌现象建立了严格的数学解释。我们证明，在VGGT中，令牌特征流以 $O(1/L)$ 的速率（其中 $L$ 为网络层数）收敛于一种狄拉克型测度，并由此导出一个闭式均场偏微分方程，能够精确预测实验中观察到的秩分布特征。该理论定量地吻合了注意力热图的演化过程以及相关研究中报道的一系列实验结果，并解释了为何其令牌合并（token-merging）修复机制——即周期性地移除冗余令牌——能够有效降低扩散系数，从而在无需额外训练的情况下延缓坍塌的发生。我们认为，这一分析为理解和设计未来可扩展的三维视觉变换器提供了一个原理性的视角，并强调了其在多模态泛化方面的潜在价值。

论文试图解决Visual Geometry Grounded Transformer (VGGT) 在处理长序列输入时全局自注意力层出现的急剧崩溃现象：当输入帧数超过几百时，注意力矩阵迅速退化为近似秩一，token 的几何结构坍缩到几乎一维子空间，导致3D重建误差超线性增长。这是一个在当前大规模视觉Transformer中日益突出但尚未被充分理论解释的问题。

将VGGT中的全局自注意力层迭代过程建模为一种退化的扩散过程，并从数学上证明token特征流以O(1/L)的速度收敛到Dirac型测度（即完全集中），从而导出一个闭式均场偏微分方程来精确预测注意力秩的演化。该理论揭示了注意力崩溃的本质是信息扩散导致的特征集中，并解释了token合并策略通过降低有效扩散系数来延缓崩溃的机制。相比现有经验性缓解方法，本文提供了首个严格的动力学解释框架。

理论与实验高度一致，定量复现了注意力热图演化和多组实验结果；首次给出注意力秩退化过程的闭式PDE描述，可预测不同深度下的秩轮廓；解释了token merging为何有效——它相当于减缓扩散而非依赖训练；工作为设计抗崩溃的新型3D视觉Transformer提供了原则性指导；代码虽未明确提及开源，但理论框架易于复现，值得进一步推广至多模态扩散建模。

1. Understanding the Difficulty of Training Transformers with Gradient Descent 2. On the Expressive Power of Deep Learning in Computer Vision: Self-Attention and Its Implicit Bias 3. Token Fusion for Temporal Modeling in Video Transformers 4. Dynaboard: Benchmarking Dynamic Vision Models 5. Self-attention Networks Can Process High-dimensional Data with Linear Memory Complexity Using Random Features