Parallel Split Learning with Global Sampling

随着物联网设备的扩展和深度学习需求的增加，分布式深度学习（DDL）系统面临着重大挑战。并行分裂学习（PSL）作为分裂学习的一个有前途的派生物，非常适合于资源受限设备上的分布式学习。然而，PSL面临着一些障碍，比如大的有效批处理大小、非独立同分布的数据分布和滞后效应。我们将这些问题视为采样困境，并提出通过在服务器端协调小批量采样过程来解决这些问题。我们引入了均匀全局采样（UGS）方法，将有效批处理大小与客户端数量分离，减少了非独立同分布情况下的小批量偏差。为了解决滞后效应，我们引入了潜在狄利克雷采样（LDS）方法，将UGS推广到平衡批处理偏差和训练时间之间的权衡。我们的模拟结果表明，我们提出的方法在非独立同分布情况下提高了模型准确性高达34.1％，并在存在滞后效应时将训练时间缩短了高达62％。特别是，与UGS相比，LDS有效地缓解了滞后效应，而不会影响模型准确性或增加显着的计算开销。我们的结果证明了我们的方法作为DDL在实际应用中的一个有前途的解决方案的潜力。

解决问题的问题是分布式深度学习中的挑战，特别是在非IID数据分布和存在straggler效应的情况下。本论文提出了并行分裂学习（PSL）的改进方法，以解决这些问题。

论文提出了一种在服务器端编排小批量采样过程的方法，称为均匀全局采样（UGS）方法，可以解决大批量大小和非IID数据分布的问题。此外，论文还提出了一种名为潜在狄利克雷采样（LDS）的方法，以解决straggler效应的问题。

论文的实验结果表明，所提出的方法可以提高模型的准确性，尤其是在非IID数据分布的情况下，可以提高34.1%的准确性。同时，该方法还可以减少存在straggler效应时的训练时间，最多可以减少62%。此外，LDS方法可以有效地缓解straggler效应，而不会影响模型的准确性或增加计算开销。

在分布式深度学习领域，还有其他相关的研究，例如《Federated Learning: Strategies for Improving Communication Efficiency》、《Communication-Efficient Learning of Deep Networks from Decentralized Data》等。