Understanding Optimization in Deep Learning with Central Flows

深度学习中的优化问题即使在确定性（即全批量）训练这种简单设置下仍然理解不足。一个主要的困难在于，优化器的行为很大程度上是由复杂的振荡动力学隐式决定的，这被称为“稳定边缘”。本文的主要贡献在于展示了一个优化器的隐式行为可以通过一个“中心流”显式捕捉：这是一个微分方程，用于建模时间平均的优化轨迹。我们证明，这些流可以以高度数值精度预测通用神经网络的长期优化轨迹。通过解释这些流，我们首次揭示了1）RMSProp如何精确地适应局部损失景观，以及2）一种“通过正则化加速”的机制，其中自适应优化器隐式地导航到低曲率区域，在这些区域中它们可以采取更大的步长。这一机制是这些自适应优化器有效性的关键。总体而言，我们认为中心流构成了理解深度学习中优化问题的一个有前途的工具。

该论文旨在理解深度学习优化过程中的复杂行为，特别是在确定性（即全批量）训练设置下。具体来说，它试图解释优化器的行为如何受到‘稳定边缘’这一复杂振荡动力学的影响。

论文的关键思路是引入了一个称为‘中心流’的概念，这是一种微分方程，用于建模时间平均的优化轨迹。通过这种方法，可以显式地捕捉优化器的隐式行为，并且能够以高数值精度预测神经网络的长期优化轨迹。这为理解优化器如RMSProp如何适应局部损失景观提供了新的视角。

论文展示了‘中心流’能够准确预测优化轨迹，揭示了RMSProp如何适应局部损失景观的具体机制。此外，还提出了一种‘通过正则化加速’的机制，即自适应优化器会隐式地导航到低曲率区域，从而能够采取更大的步长。这些发现有助于解释自适应优化器的有效性。论文使用了通用神经网络进行实验，但未提及具体的数据集或开源代码。未来的研究可以进一步探索不同类型的神经网络和数据集下的‘中心流’表现。

近期在这个领域的一些相关研究包括： 1. 'On the Convergence of Adam and Beyond' - 研究了自适应优化器的收敛性质。 2. 'An Empirical Analysis of the Optimization of Deep Network Loss Landscapes' - 探讨了深度网络损失景观的优化特性。 3. 'The Mechanics of n-Player Differentiable Games' - 分析了多玩家可微游戏中的优化动态。 4. 'Stable Rank Normalization for Improved Generalization in Neural Networks and GANs' - 提出了用于改进泛化的稳定秩归一化方法。