Training Deep Learning Models with Norm-Constrained LMOs

在这项工作中，我们研究了利用范数球上的线性最小化神谕（LMO）的优化方法。我们提出了一类新的随机算法，这些算法使用LMO来适应问题的几何结构，并且令人惊讶的是，我们展示了它们也可以应用于无约束问题。由此产生的更新规则将几种现有的优化方法统一在一个框架之下。此外，我们为深度架构提出了一个明确的范数选择，这一选择的一个附带好处是可以在不同模型大小之间传递超参数。实验上，我们在nanoGPT训练中展示了显著的速度提升，而无需依赖Adam优化器。所提出的方法具有内存高效的特点，只需要存储一组模型权重和一组梯度，并且这些数据可以以半精度格式存储。

该论文试图解决优化方法在处理大规模机器学习模型（如深度神经网络）时的效率和适应性问题，特别是如何利用线性最小化神谕（LMO）来优化无约束问题。这是一个相对较新的问题，尤其是在不依赖于Adam等传统优化器的情况下实现加速训练。

论文的关键思路是提出了一种新的随机算法家族，这些算法通过LMO适应问题的几何结构，并能够应用于无约束问题。此外，作者提出了一种显式的范数选择方法，特别适用于深度架构，从而实现了超参数在不同模型大小之间的可迁移性。这一方法统一了多个现有的优化方法，并且在实验中展示了显著的速度提升。

论文的亮点包括：1) 实验设计上，作者在nanoGPT模型上进行了测试，展示了无需依赖Adam即可实现的加速效果；2) 提出的方法内存高效，仅需存储一组模型权重和梯度，并且可以使用半精度浮点数进行存储；3) 代码开源，便于其他研究者复现结果；4) 值得进一步研究的方向包括将此方法扩展到其他类型的深度学习任务，以及探索更多范数选择的可能性。

最近在这个领域中，相关的研究还包括：1) 'AdaGrad: Adaptive Subgradient Methods for Online Learning and Stochastic Optimization'，探讨了自适应梯度方法；2) 'Adam: A Method for Stochastic Optimization'，介绍了Adam优化器；3) 'Frank-Wolfe Style Algorithms for Large Scale Optimization'，研究了基于Frank-Wolfe风格的优化算法；4) 'On the Convergence of Adam and Beyond'，分析了Adam及其变体的收敛性。