DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation

联邦学习（FL）允许物联网（IoT）系统中的客户端在不向服务器共享本地数据的情况下协作训练全局模型。但是，客户端对服务器的贡献仍可能泄漏敏感信息。差分隐私（DP）通过提供向客户端的贡献添加随机性的机制来解决此类泄漏问题，从而提供正式的隐私保证。随机性使得训练现代IoT系统中常见的基于Transformer的大型模型变得不可行。本文在联邦学习系统中实证评估了使用差分隐私对基于Transformer的大型设备上模型进行微调的实用性。我们对跨多个领域的任务进行了全面实验，包括语音识别、计算机视觉（CV）和自然语言理解（NLU）等。我们的结果表明，完全使用差分隐私联邦学习（DP-FL）进行微调通常会导致巨大的性能下降，可以通过通过参数高效微调（PEFT）降低贡献的维度来缓解。我们对现有的DP-PEFT方法进行了基准测试，结果表明DP-Low-Rank Adaptation（DP-LoRA）始终优于其他方法。一种更有前途的方法是DyLoRA，它使低秩变量，但是如果直接与FL组合，会直接破坏差分隐私。因此，我们提出了一种可以与差分隐私组合的适应方法，称为DP-DyLoRA。最后，我们能够将由于DP导致的准确性降低和字错误率（WER）增加降低到小于2％和7％，同时使用100万个客户端和严格的隐私预算（ε=2）。

论文旨在评估在联邦学习系统中使用差分隐私对大规模设备上基于Transformer的模型进行微调的实用性，以及提出一种可以与差分隐私结合的自适应方法。

通过使用参数高效的微调（PEFT）和DP-Low-Rank Adaptation（DP-LoRA）方法，可以减少由差分隐私引起的性能下降，并提出DP-DyLoRA方法以解决动态低秩变量的问题。

论文通过实验评估了DP-FL对语音识别、计算机视觉和自然语言理解任务的影响，提出了一种可以与差分隐私结合的自适应方法DP-DyLoRA，并将DP的精度降低和字错误率增加降至不到2％和7％，同时使用1百万个客户端和严格的隐私预算。

与DP-FL和低秩矩阵适应性方法相关的其他研究包括：DP-SGD，FedAvg，DP-FedAvg，DP-FedAvg-M，FedProx，DP-FedProx，FedMA等。