Training Neural Networks at Any Scale

本文综述了用于训练神经网络的现代优化方法，重点在于效率与可扩展性。我们采用统一的算法框架来介绍最先进的优化算法，突出了适应问题结构的重要性。随后，我们探讨了如何使这些算法对问题的规模具有无关性。本文旨在为希望参与这些前沿进展的从业者和研究人员提供入门指导。

论文试图解决神经网络训练中优化算法的效率和可扩展性问题，尤其是在大规模深度学习场景下如何设计高效、自适应且对问题尺度不敏感的优化方法。这个问题在深度学习快速发展的背景下非常重要，虽然不是全新问题，但随着模型规模和数据量的增长，其重要性日益凸显。

提出一个统一的算法模板来组织现代优化算法，强调通过适应问题结构（如梯度几何、稀疏性、曲率等）来提升优化效率，并引入尺度无关（scale-agnostic）的设计原则，使算法在不同参数尺度下稳定工作，减少调参负担。相比传统固定学习率或简单动量方法，该框架更具系统性和普适性。

论文以教学为导向，适合从业者和研究人员快速掌握前沿优化技术；强调算法设计的结构性适应与尺度鲁棒性，提供了清晰的理论洞见；虽无具体实验或新算法提出，但整合了Adam、AdaGrad、SGD with momentum等经典方法于统一视角下，有助于理解与创新。文中未提及具体数据集或开源代码，但为后续算法设计提供了指导方向，值得在自适应学习率、分布式训练、大模型优化等方面深入研究。

1. 'Adam: A Method for Stochastic Optimization' by Kingma & Ba (2015) 2. 'On the Convergence of Adam and Beyond' by Reddi et al. (2018) 3. 'Large Batch Training of Convolutional Networks' by Goyal et al. (2017) 4. 'Adaptive Subgradient Methods for Online Learning and Stochastic Optimization' by Duchi et al. (2011) 5. 'Deep Learning with PyTorch' 中关于优化器的实践章节 (Rosenberg et al., 2021)