GraphPipe: Improving Performance and Scalability of DNN Training with Graph Pipeline Parallelism

本文介绍了一种新的管线并行方案——图管线并行（GPP），它将深度神经网络（DNN）划分为多个管线阶段，这些阶段的依赖关系由有向无环图确定。GPP泛化了现有的顺序管线并行方法，并保留了DNN的固有拓扑结构，以实现并行执行计算独立的运算符，从而减少内存需求并提高GPU性能。此外，作者开发了一个名为GraphPipe的分布式系统，利用GPP策略实现高性能和可扩展的DNN训练。GraphPipe将DNN分割成一组阶段的图形，优化这些阶段的微批次调度，并使用发现的GPP策略并行化DNN训练。在各种DNN上的评估表明，GraphPipe的性能优于现有的管线并行系统，如PipeDream和Piper，最高可提高1.6倍。GraphPipe还将搜索时间缩短了9-21倍，相比之下，PipeDream和Piper则较慢。

本文旨在解决深度神经网络（DNN）在单设备上训练变得不可行的问题，并提出了一种新的管道并行方案——图管道并行（GPP）。与现有的顺序管道并行方案不同，GPP将DNN划分为管道阶段，其依赖关系由有向无环图确定，以实现并发执行计算独立的运算符，从而减少内存需求并提高GPU性能。

GPP是一种新的管道并行方案，将DNN划分为管道阶段，其依赖关系由有向无环图确定，以实现并发执行计算独立的运算符，从而减少内存需求并提高GPU性能。

本文提出了一种新的管道并行方案——图管道并行（GPP），并开发了GraphPipe分布式系统，以实现高效和可扩展的DNN训练。GPP将DNN划分为管道阶段，其依赖关系由有向无环图确定，以实现并发执行计算独立的运算符，从而减少内存需求并提高GPU性能。实验结果表明，GraphPipe比现有的管道并行系统如PipeDream和Piper快1.6倍，并且减少了9-21倍的搜索时间。

相关研究包括PipeDream和Piper等现有的管道并行系统。