DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation

本文介绍了联邦学习（FL）和差分隐私（DP）在物联网（IoT）系统中的应用。FL允许客户端在不与服务器共享本地数据的情况下协作训练全局模型。然而，客户端对服务器的贡献仍可能泄漏敏感信息。DP通过为客户端的贡献添加随机性来提供正式的隐私保证，但这使得训练大型基于变压器的模型变得不可行。本文在联邦学习系统中经验性地评估了在设备上微调大规模基于变压器的模型与差分隐私的实用性。作者对多个领域的任务进行了全面的实验，包括语音识别、计算机视觉（CV）和自然语言理解（NLU）。结果表明，全面微调的差分隐私联邦学习（DP-FL）通常会导致巨大的性能下降，可以通过通过参数有效的微调（PEFT）减少贡献的维度来缓解这种情况。作者对现有的DP-PEFT方法进行了基准测试，结果表明DP-Low-Rank Adaptation（DP-LoRA）始终优于其他方法。更为有前途的方法是DyLoRA，它使低秩变量，但如果与FL简单结合则会直接破坏差分隐私。因此，作者提出了一种适应方法，可以与差分隐私结合使用，称之为DP-DyLoRA。最后，作者能够在隐私预算为{\epsilon}=2、拥有100万客户端的情况下，将由于DP导致的准确度下降和字错误率（WER）增加降低到不到2%和7%。

本论文旨在解决在联邦学习系统中使用差分隐私 fine-tuning 大规模 on-device transformer-based 模型的实际可行性问题。

论文提出了一种名为 DP-DyLoRA 的适应方法，可以与差分隐私相结合，以减少由 DP 引起的精度降低和词错误率（WER）增加。

论文通过对语音识别、计算机视觉（CV）和自然语言理解（NLU）等多个领域的任务进行全面实验，发现全 fine-tuning 的 DP-FL 通常会导致巨大的性能下降，可以通过 parameter-efficient fine-tuning（PEFT）减少贡献的维度来缓解这一问题。实验表明，DP-Low-Rank Adaptation（DP-LoRA）方法优于其他现有的 DP-PEFT 方法。此外，DP-DyLoRA 方法可以将低秩变量与差分隐私相结合。

最近的相关研究包括《Towards Federated Learning at Scale: System Design》、《Federated Learning: Challenges, Methods, and Future Directions》等。