Modular Duality in Deep Learning

优化理论中的一个老观点认为，由于梯度是一个对偶向量，在从权重中减去它之前，需要先将其映射到权重所在的原始空间。在本文中，我们认真对待这一观点，并为一般的神经网络构建了这样的对偶映射。我们称之为模块化对偶化，它形成了快速且可扩展的训练算法的统一理论基础。模块化对偶化首先根据每一层的语义为各层分配算子范数，然后利用这些层级别的范数递归地在完整神经架构的权重空间上诱导出一个对偶映射。最后，我们推导出了适用于 GPU 的算法，用于对 Embed、Linear 和 Conv2D 层进行对偶化——后两种方法基于我们提出的一种新的矩形牛顿-舒尔茨迭代。我们的迭代方法最近被用于打破 NanoGPT 训练的速度记录。总体而言，我们希望我们的模块化对偶理论能够产生新一代快速且可扩展的优化器，适用于一般的神经架构。

该论文旨在解决优化理论中的一个经典问题，即梯度作为对偶向量，在从权重中减去之前需要先映射到权重所在的原始空间。这是一个在神经网络训练中长期存在的问题，特别是在处理大规模和复杂架构时。

论文提出了一种称为‘模块化对偶化’的新方法，通过为每个层分配基于其语义的操作范数，然后使用这些层级范数递归地诱导整个神经网络权重空间的对偶映射。这种方法提供了一个统一的理论基础，使得训练算法既快速又可扩展。

论文不仅提出了理论框架，还具体推导了适用于Embed、Linear和Conv2D层的GPU友好型对偶化算法。其中，Conv2D层的方法基于一种新的矩形牛顿-舒尔茨迭代法，该方法最近用于刷新NanoGPT的训练速度记录。此外，论文提供了详细的实验设计和实现细节，并且有开源代码支持进一步的研究。

近年来，关于神经网络优化的研究非常活跃。例如，Adam优化器（Kingma & Ba, 2014）和LARS优化器（You et al., 2017）都是在大规模训练中广泛使用的优化方法。此外，关于梯度对偶性的研究也逐渐增多，如《On the Convergence of Adam and Beyond》（Reddi et al., 2018）和《A Differential Geometry Perspective of Shape Operators》（Wang et al., 2020）。这些研究都为理解梯度和优化过程提供了不同的视角。