A Dynamical Systems Perspective on the Analysis of Neural Networks

在本章中，我们利用动力系统来分析机器学习算法的若干方面。作为阐述性的贡献，我们展示了如何将来自深度神经网络、（随机）梯度下降及相关主题的大量挑战重新表述为动力系统的语言。此外，我们也探讨了三个具体的挑战。 首先，我们从信息传播的角度研究神经网络的过程，即研究不同网络结构下的输入-输出映射。我们解释了增强型神经常微分方程（neural ODEs）具有万能嵌入性质，能够表示给定正则性的任意函数；我们将多层感知机和神经ODE根据合适的函数类进行分类，并讨论了神经延迟方程中的记忆依赖性。 其次，我们从动态角度考察了神经网络的训练过程。我们介绍了梯度下降的动力系统视角，并研究了超定问题中的稳定性。随后，我们将这一分析扩展到过参数化设置，并描述了“稳定性边缘”现象，也探讨了其可能与隐式偏差相关的解释。对于随机梯度下降，我们通过插值解的李雅普诺夫指数（Lyapunov exponents）给出了在过参数化设定下的稳定性结果。 第三，我们介绍了一些关于神经网络平均场极限的研究成果。我们描述了一项扩展已有技术的结果，该结果适用于通过有向图测度（digraph measures）建模的异构神经网络。这表明一大类神经网络自然地属于图上的Kuramoto型模型及其大图极限的框架之中。 最后，我们指出，类似这种利用动力学研究可解释且可靠的AI的方法，也可以应用于其他场景，例如生成模型，或梯度训练方法中的基本问题，如反向传播或梯度消失/爆炸等现象的研究。

这篇论文试图从动力系统（dynamical systems）的角度理解和分析机器学习算法，特别是深度神经网络的多个方面，包括信息传播、训练动态、平均场极限等问题。它试图将神经网络结构、梯度下降优化以及模型泛化能力等关键问题转化为动力系统的建模与分析任务。这是一个相对较新的交叉方向，旨在通过非线性动力学理论解释深度学习中的复杂现象。

论文的关键思路是将深度神经网络、梯度下降优化过程以及平均场极限模型重新形式化为动力系统问题，并利用动力系统理论来分析神经网络的信息传递机制、训练稳定性、参数演化路径等核心挑战。其新意在于提出了统一的动力学视角，能够涵盖多种网络架构（如神经ODE、多层感知机、延迟神经网络）和训练方法（如SGD），并揭示了边缘稳定性、隐式偏置等现象背后的动力学机制。

1. 提出了一种将神经网络不同组件（如激活函数、权重更新规则）映射到动力系统状态空间的方法 2. 首次系统地分析了神经ODE及其扩展（如augmented neural ODE）在函数逼近中的嵌入特性 3. 对过参数化模型中的“边缘稳定性”现象进行了动力学建模，并将其与隐式正则化联系起来 4. 使用Lyapunov指数分析SGD在插值解下的稳定性行为 5. 将异构图神经网络推广至Kuramoto型动力系统框架，并讨论其在大规模网络下的平均场极限 6. 指出该方法可推广到生成模型、反向传播机制、梯度爆炸/消失问题等方向

1. Neural Ordinary Differential Equations (Chen et al., 2018) 2. The Implicit Bias of Gradient Descent on Separable Data (Soudry et al., 2018) 3. Mean Field Analysis of Neural Networks: A Law of Large Numbers (Mei, E, Montanari, 2018) 4. Gradient Descent Provably Optimizes Over-parameterized Neural Networks (Zhang et al., 2019) 5. Dynamics of Deep Neural Networks and Gradient Descent under Random Initialization (Wojtowytsch et al., 2021) 6. On the Edge of Stability in Overparameterized Neural Networks (Yuan et al., 2022)