The Surprising Agreement Between Convex Optimization Theory and Learning-Rate Scheduling for Large Model Training

我们展示了大规模模型训练中的学习率调度行为，与非光滑凸优化理论中的一个性能界限表现出惊人的相似性。我们为带有线性冷却阶段的常数调度提供了一个界限；特别是，由于对数项的缺失，冷却的实际好处在该界限中得到了体现。进一步，我们展示了这种优化理论与实践之间的惊人吻合可以用于学习率调整：通过（i）延长最优学习率的持续训练时间，以及（ii）在不同调度之间传递最优学习率，我们在训练1.24亿和2.1亿参数的Llama类模型时取得了显著的改进。

该论文试图解决大规模模型训练中学习率调度优化的问题，特别是验证学习率调度与非光滑凸优化理论中的性能界限之间的相似性。这是一个在深度学习领域中较为新颖的研究角度，尤其是在大型语言模型的背景下。

论文的关键思路是展示了学习率调度（尤其是带有线性冷却的恒定调度）的行为与非光滑凸优化理论中的性能界限惊人地相似。通过这种理论联系，作者提出了一种新的学习率调整方法，即延长训练时间并跨调度转移最优学习率，从而在实践中实现了显著的性能提升。这一思路为学习率调度提供了一个新的理论基础，并且在实际应用中证明了其有效性。

论文的亮点包括：1) 提出了一个理论框架来解释学习率调度的有效性；2) 实验设计涵盖了不同规模的Llama型模型（124M和210M参数），并通过延长训练时间和跨调度转移学习率实现了显著改进；3) 研究表明，线性冷却调度的性能优于其他调度方式，因为没有对数项的影响；4) 论文提到未来可以进一步研究如何将这种方法应用于更大规模的模型和其他类型的神经网络。遗憾的是，论文并未提及是否提供了开源代码。

最近在这个领域中，相关的研究还包括：1) 《Understanding the Impact of Learning Rate Schedules on Generalization in Deep Learning》；2) 《A Closer Look at Learning Rate Warmup for Task-Specific Fine-Tuning of Deep Networks》；3) 《Optimal Learning Rates for Adaptive Gradient Methods》。这些研究都在探讨学习率调度对模型训练和泛化能力的影响，但本论文的独特之处在于它从非光滑凸优化的角度出发，提出了一个新的理论视角。