Communication Efficient Distributed Training with Distributed Lion

本文介绍了一种名为“Lion优化器”的算法，它在训练大型AI模型方面与AdamW优化器有着相当的竞争力，并且在内存、计算和样本效率方面具有优势。本文提出了一种名为“分布式Lion”的创新性Lion算法，用于分布式训练环境。利用Lion中的符号运算符，我们的分布式Lion只需要在工作节点和中央服务器之间通信二进制或低精度向量，从而大大降低了通信成本。我们的理论分析证实了分布式Lion的收敛性质。实验结果表明，它在视觉和语言问题的各种任务、工作节点数量和批次大小上都表现出了鲁棒性。值得注意的是，分布式Lion在与标准Lion或应用于聚合梯度的AdamW优化器相比，具有可比的性能，但通信带宽显著降低。这个特性对于训练大型模型尤为有利。此外，我们还证明，与现有的高效分布式方法（如深度梯度压缩和三元梯度）相比，分布式Lion具有更有利的性能-带宽平衡。

本论文旨在解决在分布式训练环境下，通信成本高的问题，提出了一种名为Distributed Lion的优化器，能够在减少通信带宽的情况下，实现与标准Lion或AdamW优化器相当的性能。

Distributed Lion利用Lion中的符号运算，只需要在工作节点之间通信二进制或低精度向量，从而大大减少了通信成本。

Distributed Lion在多个任务、工作节点数量和批次大小上表现出鲁棒性，特别是对于训练大型模型而言，具有更有利的性能-带宽平衡。此外，论文还进行了理论分析和实验验证，证明了Distributed Lion的收敛性和可靠性。

与本论文相关的研究包括深度梯度压缩和三元梯度等现有的高效分布式方法。