AB-Training: A Communication-Efficient Approach for Distributed Low-Rank Learning

通信瓶颈阻碍了分布式神经网络训练的可扩展性，特别是在分布式内存计算集群上。为了显著减少这种通信开销，我们引入了AB-training，这是一种新的数据并行训练方法，将权重矩阵分解为低秩表示，并利用独立的基于组的训练。这种方法在多种扩展场景下一致地将网络流量减少了50%，增加了在通信受限系统上的训练潜力。我们的方法在较小规模下表现出正则化效应，从而改善了像VGG16这样的模型的泛化能力，同时在CIFAR-10上训练时实现了惊人的44.14:1压缩比并保持了竞争性的准确性。尽管很有前途，我们的实验表明，即使在低秩训练制度下，大批量效应仍然是一个挑战。

论文旨在解决分布式神经网络训练中的通信瓶颈问题，提出一种新的数据并行训练方法AB-training，以降低通信开销并提高训练效率。

AB-training将权重矩阵分解为低秩表示，并利用独立的基于组的训练方法，从而减少网络流量并提高通信受限系统的训练潜力。该方法在小规模下表现出正则化效果，提高了像VGG16这样的模型的泛化性能，同时在CIFAR-10上实现了44.14:1的压缩比，并保持了竞争性的准确性。

论文使用了多个数据集进行实验，并证明了AB-training方法的有效性。该方法在通信受限的系统中具有重要的应用价值。此外，论文还探讨了大批量效应的挑战，提出了一些解决方案。但是，该方法是否适用于其他类型的神经网络仍需进一步研究。

在分布式神经网络训练方面，有许多相关研究，如Synchronized Multi-GPU Batch Normalization、Model Parallelism for Training Neural Networks、Communication-Efficient Distributed Machine Learning with the Parameter Server等。