Adam Exploits $\ell_\infty$-geometry of Loss Landscape via Coordinate-wise Adaptivity

Adam在训练语言模型时表现优于SGD。然而，这种优势在理论上并不为人所知——Adam和SGD的先前收敛分析主要关注步数$T$，在非凸情况下已经是极小化最优的，均为$\widetilde{O}(T^{-1/4})$。在这项工作中，我们认为利用良好的$\ell_\infty$几何性是Adam优于SGD的关键优势。更具体地说，我们在新的假设下为Adam提供了新的收敛分析，即在$\ell_\infty$几何性下损失平滑，而不是更常见的$\ell_2$几何性，这为GPT-2和ResNet模型提供了更好的经验平滑常数。我们的实验证实，当有利的$\ell_\infty$几何性改变时，Adam表现得更差，而SGD则可以保持不变。我们还将收敛分析扩展到块状Adam，在新的块状平滑假设下进行。

论文旨在探讨Adam优化器在训练语言模型时的优势，并通过新的假设条件下的收敛分析来解释Adam的成功。这是否是一个新问题？

论文的关键思路是：Adam优化器的成功在于其对于良好的l∞-geometry的利用。相比于常见的l2-geometry，l∞-geometry能够为GPT-2和ResNet模型提供更好的经验平滑常数。同时，论文还扩展了收敛分析到块Adam，并提出了块平滑性假设。

论文的实验结果表明，当l∞-geometry被改变时，Adam表现明显下降，而SGD的表现则不受影响。此外，论文还提供了开源代码和数据集，方便其他研究者进行复现和参考。值得进一步研究的工作包括如何将l∞-geometry的优势应用到其他模型和任务中。

在这个领域中，最近的相关研究包括： 1. "On the Convergence of Adam and Beyond" by Sashank J. Reddi et al. 2. "Improving Generalization Performance by Switching from Adam to SGD" by Nitish Shirish Keskar et al. 3. "Adaptive Methods for Nonconvex Optimization" by Ashia C. Wilson et al.