A Clipped Trip: the Dynamics of SGD with Gradient Clipping in High-Dimensions

现代机器学习的成功部分归功于适应性优化方法的发展，这些方法被开发出来以应对在复杂数据集上训练大型模型的困难。其中一种方法是梯度裁剪：这是一种实用的程序，其理论基础有限。在这项工作中，我们研究了在流式随机梯度下的最小二乘问题中的裁剪。我们在大固有维度的极限下 - 这是模型和数据集相关的维度概念 - 开展了学习动态的理论分析。在这个极限下，我们发现了一个描述损失演变的确定性方程。我们表明，对于带有高斯噪声的情况，裁剪不能提高随机梯度下降的性能。然而，在其他噪声设置中，裁剪可以通过调整裁剪阈值来提供好处。在这些情况下，裁剪以有利于训练的方式偏置更新，这种偏置在任何进度表下都不能通过随机梯度下降来恢复。最后，我们讨论了高维裁剪和神经网络训练之间的联系。

论文研究的问题是在复杂数据集上训练大型模型时，如何应对训练困难的问题，其中包括梯度剪裁等自适应优化方法的应用。同时，论文试图探究梯度剪裁在高维度情况下的作用。

论文通过理论分析和实验探究，发现梯度剪裁在高维度情况下对于使用高斯噪声的SGD算法性能没有提升作用。但在其他噪声环境下，梯度剪裁可以通过调整剪裁阈值来提高性能，因为梯度剪裁可以通过偏置更新来有益地训练模型。

论文的亮点包括对于高维度情况下梯度剪裁作用的理论分析，以及对于不同噪声环境下梯度剪裁对于SGD算法性能的影响。实验使用了流式SGD算法和不同的数据集，但未提及是否有开源代码。

相关研究包括关于自适应优化方法的研究，以及关于梯度剪裁在神经网络训练中的应用的研究。例如，Ruder在2016年的论文中研究了不同的自适应优化方法，而Aja-Fernández等人在2019年的论文中探究了梯度剪裁在卷积神经网络中的应用。