Communication-Efficient Large-Scale Distributed Deep Learning: A Comprehensive Survey

随着深度学习领域中数据集、模型和设备数量的迅速增长，大规模分布式深度学习受到越来越多的关注。与传统的分布式深度学习相比，大规模场景带来了新的挑战，包括容错性、算法和基础设施的可扩展性，以及数据集、模型和资源的异构性。由于在分布式训练和推断过程中，模型的强烈同步和数据在GPU和计算节点之间的共享，通信效率成为实现大规模高性能的瓶颈。本文对2018-2023年期间旨在实现大规模分布式深度学习中高效通信的算法和技术的文献进行了综述，包括算法、框架和基础设施。具体来说，我们首先介绍了在大规模分布式训练的背景下，用于模型同步和通信数据压缩的高效算法。接下来，我们介绍了用于分布式训练和推断的资源分配和任务调度的高效策略。然后，我们介绍了现代通信基础设施中最新的技术，重点研究了在大规模和异构环境中通信开销的影响。最后，我们进行了一个案例研究，对大规模语言模型的分布式训练进行了探讨，以说明如何在实际情况中应用这些技术。本文旨在为研究人员提供对大规模分布式深度学习当前形势的全面理解，并揭示在这个范围内通信高效解决方案的有前途的未来研究方向。

大规模分布式深度学习中通信效率低下是制约高性能的瓶颈，本文旨在调查2018-2023年期间在算法、框架和基础设施等不同层面上实现大规模分布式深度学习高效通信的相关技术和算法。

本文提出了在大规模分布式深度学习中提高通信效率的算法和技术，包括模型同步、数据压缩、资源分配和任务调度等方面。

本文介绍了大规模分布式深度学习中提高通信效率的算法和技术，并进行了案例研究，阐述了如何在实际应用中应用这些技术。此外，本文还探讨了未来研究方向。

相关论文包括： 1. Large-Scale Distributed Deep Reinforcement Learning Using GPUs 2. Communication-Efficient Distributed Learning of Discrete Distributions 3. Efficient Distributed Deep Learning with Weighted Sampling