Fault Tolerant ML: Efficient Meta-Aggregation and Synchronous Training

本文研究了在分布式机器学习系统中具有拜占庭容错训练框架的挑战，重点是提高效率和实用性。随着分布式机器学习系统成为复杂机器学习任务的重要组成部分，确保对抗拜占庭故障——其中工作人员可能由于恶意或错误而提供不正确的更新——变得至关重要。我们的第一个贡献是引入了中心修剪元聚合器（CTMA），这是一种高效的元聚合器，可以将基线聚合器升级到最佳性能水平，同时要求低计算需求。此外，我们提出在拜占庭环境中利用一种基于双动量策略的梯度估计技术。我们的论文强调了它在拜占庭容错训练中的理论和实际优势，特别是在简化调整过程和减少对众多超参数的依赖方面。这种技术的有效性得到了随机凸优化（SCO）框架内的理论洞见的支持。

本文研究分布式机器学习系统中的拜占庭容错训练问题，旨在提高效率和实用性，以确保系统对抗恶意或错误更新的鲁棒性。

本文提出了一种高效的元聚合器CTMA，将基线聚合器升级到最佳性能水平，同时要求低计算需求。此外，还提出了一种基于双动量策略的梯度估计技术，以简化调整过程并减少对众多超参数的依赖。

本文的亮点包括：提出了高效的元聚合器CTMA和基于双动量策略的梯度估计技术；实验结果表明这些技术的有效性和实用性；使用了stochastic convex optimization (SCO)框架来支持理论分析。

相关研究包括："Communication-Efficient Learning of Deep Networks from Decentralized Data"、"Deep Learning with Differential Privacy"等。