Efficient Deep Learning with Decorrelated Backpropagation

反向传播算法仍然是训练深度神经网络（DNNs）的主要和最成功的方法。同时，规模化训练DNNs的计算成本很高，因此具有很高的碳足迹。越来越多的证据表明，输入去相关化可以加速深度学习。然而，迄今为止，这还没有在大规模DNNs的训练效率上实现实质性的改进。这主要是由于实施快速和稳定的网络整体去相关化的挑战。在这里，我们首次展示了使用去相关反向传播训练非常深的神经网络可以更加高效。为了实现这个目标，我们使用了一种新的算法，使用最小的计算开销诱导网络整体输入去相关化。通过将这个算法与精心的优化相结合，我们在训练18层深的残差网络时，相比于反向传播，获得了两倍以上的加速和更高的测试精度。这表明，去相关化为规模化高效深度学习提供了令人兴奋的前景。

如何提高训练深度神经网络的效率和准确性？

利用输入去相关技术实现神经网络训练的快速和稳定

论文提出了一种新的算法，利用最小的计算开销实现神经网络输入去相关，使得18层深度残差网络的训练速度提高了两倍以上，测试准确率也更高。实验使用了开源数据集和代码，该算法有望在大规模深度学习中提高效率。

近期相关研究包括《Decorrelated Batch Normalization》、《Decorrelated Adversarial Learning for Conditional Generation》等。