Federated Learning of Large ASR Models in the Real World

联邦学习已经展示了在保护隐私的情况下训练机器学习模型的良好结果。然而，对于超过1亿个参数的大型模型，训练资源需求成为联邦学习的障碍，因为普通设备没有足够的内存和计算能力来完成联邦学习任务。尽管已经提出了高效的训练方法，但是像基于Conformer的ASR这样的大型模型的训练仍然是一个挑战。本文提出了一个系统性的解决方案，用联邦学习训练130M参数的完整ASR模型。据我们所知，这是Conformer模型的第一个真实世界联邦学习应用，也是目前为止训练的最大模型。这是第一篇论文展示了FL可以通过一组提出的方法来改善客户端数据和标签的质量，从而提高ASR模型的质量。我们在真实世界实验中展示了训练效率和模型质量的提高。

如何使用联邦学习（FL）训练具有1.3亿参数的Conformer ASR模型，以提高ASR模型的质量？

论文提出了一种系统性的解决方案，包括客户端数据和标签的质量改进方法以及模型训练的优化策略，以在FL中训练130M参数的Conformer ASR模型。

该论文是首个使用FL训练Conformer模型的真实应用，并且是目前FL所训练的最大模型。实验结果表明，该方法在提高ASR模型质量的同时，也提高了训练效率。

最近在FL领域，也有一些相关的研究，如《Federated Learning with Matched Averaging》和《Federated Learning with Non-IID Data》。