Resource Allocation and Workload Scheduling for Large-Scale Distributed Deep Learning: A Survey

随着大规模数据中心中分布式深度学习工作负载的快速增加，资源分配和工作负载调度的高效分布式深度学习框架策略已成为实现高性能深度学习的关键。大规模环境中具有大量数据集、模型和计算和通信资源，这些资源分配和工作负载调度在分布式深度学习中面临着各种独特的挑战，如调度复杂性、资源和工作负载异构性以及容错性。为了揭示这些挑战和相应的解决方案，本文综述了2019年至2024年的文献，重点介绍了用于大规模分布式深度学习的高效资源分配和工作负载调度策略。我们通过关注不同的资源类型、调度粒度级别和分布式训练和推理过程中的性能目标来探索这些策略。我们强调了每个主题的关键挑战，并讨论了现有技术的关键见解。为了说明实际的大规模资源分配和工作负载调度在真实的分布式深度学习场景中，我们使用了一个大型语言模型的训练案例。本文旨在鼓励计算机科学、人工智能和通信研究人员了解最新进展，并探索未来的研究方向，以实现大规模分布式深度学习的高效框架策略。

大规模分布式深度学习中的资源分配和工作负载调度策略问题

针对大规模分布式深度学习中的资源分配和工作负载调度问题，本文提出了一些解决方案，包括资源类型、调度粒度级别和性能目标等方面的研究，并通过大型语言模型训练案例来说明实践中的应用。

本文主要关注大规模分布式深度学习中的资源分配和工作负载调度策略，通过案例研究和综述现有文献，总结了该领域的关键挑战和技术进展，为未来研究提供了方向。

相关研究包括：《Communication-Efficient Federated Learning with Sketching》、《The Emergence of Communication Primitives in Deep Reinforcement Learning》、《A Comprehensive Survey on Graph Neural Networks》等。