Correlations Are Ruining Your Gradient Descent

本文将自然梯度下降、数据去相关和反向传播的近似方法融合在一起。自然梯度下降阐明了如何通过考虑损失函数曲率来改善指向最陡降方向的梯度向量。我们扩展了这一视角，并表明要完全解决神经网络中自然梯度所揭示的问题，必须认识到在任何线性变换中，包括神经网络每一层的节点响应，数据的相关性会导致模型参数之间的非正交关系。要解决这个问题需要在神经网络的每一层中对输入进行去相关处理。我们描述了一系列已经提出的去相关和白化节点输出的方法，同时提供了一种特别适用于分布式计算和计算神经科学的新方法。通过在多层神经网络中实现去相关，我们可以证明不仅通过反向传播进行训练的速度显著加快，而且以前在过去灾难性失败的反向传播现有近似方法也再次变得有效。这有可能为以前被丢弃的近似梯度下降方法、模拟和神经形态硬件的训练方法以及去相关过程在大脑中的功效和实用性提供新的路线和洞见。

论文旨在解决神经网络训练中的数据相关性问题，提出了一种在多层神经网络中进行数据去相关化的方法，以加速反向传播训练和改进梯度下降算法的性能。

论文提出了一种解决神经网络中数据相关性问题的方法，即在每个层次上对节点输出进行去相关化处理，以使模型参数之间的关系变得正交，并提高梯度下降算法的性能。

论文描述了一系列进行节点输出去相关化处理的方法，并提出了一种适用于分布式计算和计算神经科学的新方法。研究表明，通过在多层神经网络中实施去相关化，不仅可以显著加快反向传播训练，而且可以使以前失败的梯度下降算法近似方法重新发挥作用。这为以前被丢弃的近似梯度下降方法、模拟和神经形态硬件的训练方法提供了一条前进的道路，并有可能为大脑中去相关化过程的功效和效用提供新的见解。

近期在这个领域中的相关研究包括：《On the Convergence of Adam and Beyond》、《Orthogonal Weight Normalization: Solution to Optimization over Multiple Dependent Stiefel Manifolds in Deep Neural Networks》、《A Convergence Analysis of Distributed SGD with Communication-Efficient Gradient Aggregation》等。