Approximation and Gradient Descent Training with Neural Networks

人们已经充分认识到，精心挑选权重的神经网络提供了强大的函数逼近能力，并且它们可以在过度参数化的情况下成功训练。由于过度参数化确保训练误差为零，这两个理论并不立即兼容。最近的研究利用了逼近结果所需的平滑性，将神经切向核（NTK）优化论证推广到欠参数化的情况，并展示了通过梯度流训练的网络的直接逼近界限。由于梯度流只是实际方法的理想化，本文建立了类似的结果，适用于通过梯度下降训练的网络。

论文试图探讨神经网络过度参数化和近似能力之间的矛盾，以及如何在梯度下降训练中实现近似能力的理论保证。

论文提出了一种基于神经切向核（NTK）的方法，通过证明梯度下降在一定条件下与NTK方法等价，从而将NTK方法的理论扩展到了梯度下降训练中。

论文的方法不仅能够保证在过度参数化的情况下，神经网络具有优秀的近似能力，而且能够在梯度下降训练中提供理论保证。论文还在多个数据集上进行了实验，并且提供了开源代码。

近期的相关研究包括《Understanding deep learning requires rethinking generalization》、《The implicit bias of gradient descent on separable data》等。