Boosting Large-scale Parallel Training Efficiency with C4: A Communication-Driven Approach

大型语言模型（LLMs）的出现使得采用并行训练技术成为必要，这涉及到部署数千个GPU来训练单个模型。不幸的是，我们发现当前并行训练的效率通常不够优化，主要由于以下两个主要问题。首先，硬件故障是不可避免的，会导致训练任务中断。无法快速识别故障组件会导致大量GPU资源浪费。其次，由于GPU必须等待参数同步完成才能继续进行下一轮计算，网络拥塞可能会大大增加GPU的等待时间。为了解决这些挑战，本文引入了一种基于通信的解决方案，即C4。C4的关键见解有两个。首先，在并行训练中，集体通信表现出周期性和均匀性特征，因此任何异常都肯定是由某种形式的硬件故障引起的。通过利用这个特性，C4可以快速识别故障组件，迅速隔离异常，并重新启动任务，从而避免由于异常检测延迟而导致的资源浪费。其次，集体通信的可预测通信模型涉及少量大流量，允许C4有效执行流量规划，从而大大减少网络拥塞。C4已广泛应用于我们的生产系统中，将由错误引起的开销减少约30％，并为某些具有适度通信成本的应用程序提高约15％的运行时性能。

提高大型语言模型的并行训练效率，解决硬件故障和网络拥塞问题。

通过通信驱动的解决方案C4，利用集体通信的周期性和均匀性特征快速识别故障部件，避免资源浪费，并且通过有效的流量规划减少网络拥塞。

C4在生产系统中得到广泛实施，将由于错误引起的开销减少了约30％，并为某些具有中等通信成本的应用程序提高了约15％的运行时性能。

该论文未提及相关研究。