Flavors of Margin: Implicit Bias of Steepest Descent in Homogeneous Neural Networks

我们研究了最速下降算法的一般家族在深度同质神经网络中的隐式偏差，这些算法包括梯度下降、符号下降和坐标下降。我们证明，一旦网络达到完美的训练精度，一种依赖于算法的几何裕度就开始增加，并且表征了算法在后期阶段的偏差。特别地，我们定义了一种优化问题的广义平稳性概念，并展示了这些算法逐步减少了一种（广义的）Bregman散度，这种散度量化了接近最大裕度问题的平稳点的程度。然后，我们通过实验详细观察了使用各种最速下降算法优化的神经网络的轨迹，突显了与Adam算法隐式偏差的联系。

该论文探讨了在深度同质神经网络中，最速下降算法家族（包括梯度下降、符号下降和坐标下降）的隐式偏差问题。具体而言，它试图理解这些算法在达到完美训练精度后的行为及其对几何边距的影响。

论文的关键思路是定义了一个广义的平稳性概念，并证明了这些优化算法在训练过程中会逐渐减少一个广义的Bregman散度，该散度衡量了与最大化边缘问题的平稳点的距离。这一思路为理解最速下降算法的后期偏差提供了一个新的视角。

论文通过理论分析和实验验证，展示了不同最速下降算法在优化过程中的轨迹变化，特别强调了与Adam优化器隐式偏差的联系。实验部分使用了多种数据集，并且提供了详细的实验设计。此外，论文还讨论了未来可以进一步研究的方向，例如如何利用这些发现来改进优化算法。

近期在这个领域的一些相关研究包括： 1. "On the Implicit Bias of Gradient Descent for Matrix Factorization" - 该研究探讨了梯度下降在矩阵分解任务中的隐式偏差。 2. "The Implicit Bias of Adversarial Training" - 这篇论文分析了对抗训练中的隐式偏差。 3. "Understanding the Implicit Bias of Neural Tangent Kernels" - 该研究关注了神经切线核在优化过程中的隐式偏差。