Understanding Gradient Descent through the Training Jacobian

我们通过研究训练网络参数相对于其初始值的雅可比矩阵来考察神经网络训练的几何特性。我们的分析揭示了训练过程中的低维结构，这种结构依赖于输入数据，但与标签关系不大。我们发现雅可比矩阵的奇异值谱由三个不同的区域组成：一个“混沌”区域，其值比1大几个数量级；一个大的“主体”区域，其值非常接近1；以及一个“稳定”区域，其值小于1。在每个主体方向上，左奇异向量和右奇异向量几乎相同，这表明对初始化的扰动在训练过程中几乎不变地传递。这些扰动对网络在分布内的输出几乎没有影响，但在远离分布的数据上却有影响。尽管雅可比矩阵仅适用于单个初始化周围的局部区域，但我们发现在不同随机种子下，主体子空间有显著的重叠。我们的代码可在 https://github.com/EleutherAI/training-jacobian 获取。

该论文探讨了神经网络训练过程中的几何特性，特别是通过分析训练后的网络参数相对于初始值的雅可比矩阵来揭示训练过程中存在的低维结构。这个问题并不是全新的，但通过雅可比矩阵的视角来研究神经网络训练过程的低维结构是相对新颖的。

论文的关键思路在于利用雅可比矩阵的奇异值谱来分析神经网络训练过程中的低维结构。研究发现，雅可比矩阵的奇异值谱可以分为三个区域：'混沌'区域、'主体'区域和'稳定'区域。这些区域的特征表明，初始化的微小扰动在训练过程中几乎不变地传递下去，对网络的输出影响不大，但在分布外的数据上则有显著影响。这种分析方法为理解神经网络训练过程中的低维结构提供了新的视角。

论文的其他亮点包括：1) 实验设计详细，通过对不同随机种子下的雅可比矩阵进行分析，发现了不同初始化之间的重叠子空间；2) 使用了多种数据集进行实验验证，确保了结论的普适性；3) 开源了所有实验代码，方便其他研究人员复现和进一步研究。未来的工作可以进一步探索这些低维结构在不同任务和模型上的表现，以及如何利用这些结构来改进模型的泛化能力。

近期在这个领域的一些相关研究包括：1) 'The Geometry of Deep Learning: A Survey'，综述了深度学习中的几何特性；2) 'Spectral Analysis of Neural Networks'，通过谱分析方法研究神经网络的性质；3) 'Understanding the Role of Initialization in Neural Network Training'，探讨了初始化在神经网络训练中的作用。这些研究共同推动了对神经网络训练过程的理解。