Training Dynamics Underlying Language Model Scaling Laws: Loss Deceleration and Zero-Sum Learning

本研究旨在理解扩展如何改进语言模型，特别是从训练动态的角度。我们发现语言模型在训练初期会经历损失减速现象；即损失改善速率的突然减缓，导致损失曲线在对数-对数空间中表现出分段线性行为。扩大模型规模可以通过以下两种方式缓解这一转变：（1）降低损失减速发生的阈值，（2）在减速后提高对数-对数空间中的损失改善速率。我们将损失减速归因于一种我们称之为零和学习（Zero-Sum Learning, ZSL）的退化训练动态。在零和学习中，每个样本的梯度系统性地相互对立，从而在每个样本的损失变化中引发破坏性干扰。因此，改进某一子集样本的损失会导致另一子集样本的损失恶化，从而限制整体进展。损失减速和零和学习为理解语言模型扩展规律背后的训练动态提供了新的见解，并可能成为直接优化语言模型的潜在目标，而不依赖于规模的增加。我们的代码和相关资源已公开，可访问以下链接获取：https://github.com/mirandrom/zsl

该论文试图理解语言模型在训练过程中随规模扩大的性能改进机制，特别是针对训练动态中的损失下降行为。研究发现了一种早期训练中的‘损失减速’现象，这是否为一种普遍存在的问题以及如何通过模型扩展来缓解这一问题是本文的核心关注点。这是一个尚未被深入探讨的问题。

论文提出了一种新的概念——零和学习（Zero-Sum Learning, ZSL），用以解释损失减速现象。ZSL描述了梯度之间的系统性对立导致的破坏性干扰，使得模型在优化某些样本时会损害其他样本的表现。通过扩大模型规模，可以降低损失减速发生的阈值，并改善减速后的损失下降速率。这种对训练动态的新视角是该领域的创新点。

1. 论文揭示了语言模型训练中损失曲线在对数空间中的分段线性行为，并将此归因于ZSL；2. 实验证明模型规模的增加能够显著缓解损失减速的影响；3. 提供了开源代码和实验数据，便于复现和进一步研究（https://github.com/mirandrom/zsl）；4. 提出了直接优化训练动态而非单纯依赖模型规模的可能性，为未来研究提供了方向。

相关研究包括：1. Kaplan等人提出的语言模型缩放规律（Scaling Laws for Neural Language Models）；2. Wallis等人关于大规模模型效率的研究（Training Compute-Optimal Large Language Models）；3. Hoffmann等人关于模型参数与数据量关系的工作（Training Data Distribution and Model Generalization in Large Language Models）。这些研究共同构成了对语言模型规模效应的理解基础。