Federated LoRA with Sparse Communication

本文研究低秩适应（LoRA）在通信受限的机器学习环境（如跨设备联邦学习）中进行微调的自然方法。之前的研究主要集中在提高LoRA在异构性和隐私方面的鲁棒性。本文则着眼于进一步提高联邦LoRA的通信效率的技术。不幸的是，我们发现中心化的机器学习方法通过非结构化剪枝提高LoRA效率的方法在联邦学习环境中不易转移。我们研究了一种简单的方法FLASC，该方法在通信过程中对LoRA应用稀疏性，同时允许客户端在本地微调整个LoRA模块。在四个常见的联邦学习任务中，我们证明了这种方法可以在保持性能不变的情况下，使通信量减少高达10倍。此外，尽管该方法主要旨在解决通信问题，但我们发现与针对特定问题的现有方法相比，它在异构性和隐私方面也有优势。总的来说，我们的工作强调了在开发通信高效的微调方法时考虑系统特定约束的重要性，并为联邦微调领域的未来工作提供了一个简单而有竞争力的基线。

论文旨在解决通信受限的机器学习环境中，如交叉设备联邦学习中，通过低秩适应（LoRA）来微调模型的通信效率问题。

通过在通信期间对LoRA应用稀疏性，同时允许客户端在本地微调整个LoRA模块，提高通信效率。

论文提出了一种名为FLASC的简单方法，可以在与密集LoRA相匹配的性能下，使用最多10倍的通信量。实验结果表明，FLASC的方法在异构性和隐私方面相对于现有的方法具有优势。该方法为联邦微调领域提供了一个简单而有竞争力的基准。

在联邦学习领域，之前的研究主要集中在提高LoRA的鲁棒性和隐私性上。而目前的研究则更关注在如何进一步提高联邦LoRA的通信效率。