DiPaCo: Distributed Path Composition

机器学习的进展得益于神经网络模型的扩展。这种扩展是通过更加英勇的工程技术实现的，以适应需要高带宽通信的机器学习方法，这些方法需要在并行设备之间进行通信。在这项工作中，我们提出了一种针对机器学习模型的协同设计模块化架构和训练方法，称为DIstributed PAth COmposition（DiPaCo）。在训练期间，DiPaCo通过一组共享模块的路径分配计算。结合一个受本地SGD启发的优化方法（DiLoCo），该方法使模块与大幅减少的通信保持同步，从而促进了在连接不良和异构工作人员之间的训练，并确保设计对工作人员故障和抢占具有鲁棒性。在推理时，每个输入只需要执行单个路径，无需进行任何模型压缩。我们认为这种方法是大规模学习的新范例的第一个原型，它不太同步，更具有模块化。我们在广泛使用的C4基准测试上进行的实验表明，对于相同数量的训练步骤，但更少的墙钟时间，DiPaCo通过选择256个可能的路径之一，每个路径的大小为1.5亿个参数，超过了一个10亿参数密集变压器语言模型的性能。

论文提出一种名为DiPaCo的分布式路径组合模型训练方法，旨在解决大规模机器学习模型训练中的通信瓶颈问题和异构工作节点之间的连接问题。

DiPaCo模型采用共享模块和分布式路径组合的方式进行训练，通过本地SGD优化算法实现模块同步，从而在保证模型鲁棒性的同时，提高了训练效率和可扩展性。

实验结果表明，DiPaCo模型在C4基准测试中的表现优于1亿参数的密集变压器语言模型，且无需进行模型压缩。此外，该模型的设计和优化算法也为分布式机器学习提供了一种新的思路。

与该论文相关的研究包括分布式机器学习、模型压缩和异构计算等领域的研究，如《Communication-Efficient Learning of Deep Networks from Decentralized Data》、《Deep Gradient Compression: Reducing the Communication Bandwidth for Distributed Training》等。