How Do LLMs Use Their Depth?

越来越多的证据表明，大语言模型并未均匀地使用其网络深度，但我们对其各层预测动态的细致理解仍然不足。本文通过追踪多个开源权重模型在推理过程中的中间表征，揭示了模型对深度结构化且精细的利用方式。具体而言，我们提出了一种“先猜测后 refinement（精炼）”的框架，用以解释大语言模型如何在内部组织计算过程以生成预测。我们首先发现，在模型较早的高层中，排名靠前的预测主要由高频词元构成，这些词元是模型在缺乏充分上下文信息时所做出的统计性初步猜测。随着模型层数加深，上下文信息逐渐丰富，这些初始猜测也随之被修正为更符合语境的词元。即使是早期层输出的高频词元预测，也有超过70%的情况在后续层中被修正，这说明正确的词元预测并非“一蹴而就”。随后，我们进一步超越基于频率的预测分析，通过三个案例研究探讨模型在不同任务中对层深度的动态使用情况：（i）词性分析显示，功能词平均而言是最先被准确预测的；（ii）事实回忆任务分析表明，在多词元答案中，第一个词元所需的计算深度大于其余词元；（iii）多项选择任务分析显示，模型通常在前半部分的层中便已识别出响应格式，但直到接近末尾才最终确定答案。综上所述，我们的研究结果深入揭示了大语言模型对网络深度的使用机制，阐明了支撑成功预测的逐层计算过程，也为未来提升基于Transformer架构模型的计算效率提供了重要启示。

论文试图解决大型语言模型（LLMs）在推理过程中如何逐层使用深度进行预测的问题，特别是缺乏对模型内部层间计算动态的细粒度理解。该问题近年来受到关注，但此前尚无系统性框架来解释模型在不同层次上的预测机制，因此属于一个正在发展但尚未充分探索的方向。

提出“先猜测后 refine”（Guess-then-Refine）框架，揭示LLMs并非在某一层一次性完成预测，而是早期层基于高频词做统计性猜测，随后深层逐步利用上下文信息对这些猜测进行精细化修正。这一思路突破了传统认为预测是前馈一次性过程的认知，强调了深度网络中预测的动态演化特性。

研究通过追踪多个开源模型（如Llama系列）在推理过程中的中间表示，结合三种案例分析：词性标注、事实回忆和多选任务，验证了猜测-细化机制的普遍性。实验发现超过70%的早期正确预测仍被后续层修改，说明预测非“一锤定音”。数据集涵盖通用语言任务与定制探针任务，虽未明确提及开源代码，但使用开放权重模型增强了可复现性。值得深入的方向包括基于此动态机制设计早期退出策略以提升推理效率。

1. Dissecting Factual Knowledge Tracing in Language Models (ICLR 2023) 2. Layer-wise Interpretation of Transformers via Symbolic Summarization (ACL 2023) 3. Are Transformers Modular? On the Systematicity and Interpretability of Attention Mechanisms (NeurIPS 2022) 4. Probing and Controlling Token Prediction Dynamics in Language Models (EMNLP 2023)