Do Language Models Use Their Depth Efficiently?

现代大语言模型（LLM）的层数越来越多，而模型深度与性能之间确实存在相关性，尽管这种收益递减。然而，这些模型是否高效地利用了它们的深度？它们是否通过组合更多特征来创建浅层模型无法实现的高阶计算，还是仅仅将相同的计算分散到更多的层中？为了解答这些问题，我们分析了 Llama 3.1 和通义千问 3 系列模型的残差流。我们的发现如下：首先，通过对比子层输出与残差流，我们发现后半部分的层对模型的贡献远小于前半部分，且在两部分之间存在明显的相变现象。其次，跳过后半部分的层对未来计算和输出预测的影响要小得多。第三，在涉及多步任务时，我们未能找到证据表明模型通过增加深度来组合中间结果以处理复杂任务。第四，我们尝试直接探究更深的模型是否利用额外的层执行新的计算类型。为此，我们训练了一个从浅层模型残差流映射到深层模型的线性映射。结果表明，具有相同相对深度的层之间的映射效果最佳，这暗示更大规模的模型只是将其相同的计算分布在更多的层上。所有这些证据表明，更深的模型并未利用其深度学习新的计算方式，而是仅利用更大的深度来进行更细致的残差调整。这一发现可能有助于解释为什么堆叠式 Transformer 架构在扩展规模时会带来收益递减的现象。

本论文试图分析现代深度语言模型（LLMs）是否高效利用了其网络深度。具体来说，研究者希望验证模型是否通过增加层数来实现更高阶的计算（如多步推理任务中的子结果组合），还是仅仅将相似的计算分布在更多层中。这是一个相对新颖的问题，因为它从内部机制的角度探讨了Transformer架构中深度的作用。

论文的关键思路是通过对Llama 3.1和Qwen 3等模型的残差流（residual stream）进行分析，研究不同层对模型输出的贡献以及深度对计算能力的影响。研究发现，模型后半部分的层贡献较小，并且可以通过训练线性映射从浅层模型到深层模型的残差流，证明更深的模型可能只是将相同的计算扩展到更多的层，而非学习新的计算方式。这种思路为理解深度与性能之间的关系提供了新的视角。

1. 研究揭示了模型存在一个明显的相变现象：前半部分的层贡献显著，而后半部分的层贡献较小。 2. 实验表明，在多步推理任务中，未发现深层模型通过额外深度进行复杂计算的证据。 3. 训练线性映射的方法表明，深层模型的各层与其对应浅层模型的层具有高度相似性。 4. 论文提供了关于深度模型效率的重要见解，解释了为何增加规模会带来收益递减的现象。 5. 虽然没有提及代码开源，但实验设计清晰，使用了Llama和Qwen系列模型作为研究对象，这些模型本身具有广泛的应用价值。

近期相关研究包括： 1. 'The Scaling Laws for Language Models' - 探讨模型规模与性能的关系。 2. 'Understanding the Representational Power of Transformer Layers' - 分析Transformer各层的表示能力。 3. 'Residual Streams in Transformers: A Detailed Analysis' - 深入研究残差流在Transformer中的作用。 4. 'On the Expressivity of Deep Transformer Architectures' - 探讨深度如何影响Transformer的表达能力。 这些研究共同构成了对Transformer架构及其深度特性的理解基础。