DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation

联邦学习（FL）允许客户端在不向服务器共享本地数据的情况下协同训练全局模型。然而，客户端对服务器的贡献仍然可能泄露敏感信息。差分隐私（DP）通过提供形式化的隐私保证来解决这种泄露问题，其机制会向客户端的贡献添加随机性。这种随机性使得在现代联邦学习系统中普遍使用的大型基于Transformer的模型的训练变得不可行。本研究在联邦学习系统中经验性地评估了使用差分隐私对大规模设备上基于Transformer的模型进行微调的实用性。我们对跨多个领域的任务进行了全面的实验，包括语音识别、计算机视觉（CV）和自然语言理解（NLU）等。我们的结果表明，差分隐私联邦学习（DP-FL）下的完全微调通常会导致巨大的性能下降，可以通过通过参数高效微调（PEFT）减少贡献的维度来缓解这种情况。我们对现有的DP-PEFT方法进行了基准测试，结果表明DP-Low-Rank Adaptation（DP-LoRA）始终优于其他方法。一种更为有前途的方法是DyLoRA，它使低秩变量，但是当与FL简单组合时，会直接破坏差分隐私。因此，我们提出了一种适应方法，可以与差分隐私结合使用，称之为DP-DyLoRA。最后，我们能够在隐私预算为$\epsilon=2$，百万客户端的情况下将由于DP而导致的准确性降低和字错误率（WER）增加降低到不到2%和7%。

本论文旨在评估在联邦学习系统中使用差分隐私对大规模基于Transformer的模型进行微调的实用性。论文探讨了全微调和参数高效微调两种方法，并提出了DP-DyLoRA方法来进一步提高性能。

论文提出了一种新的微调方法DP-LoRA，该方法通过减少贡献的维度来缓解差分隐私带来的性能下降，并进一步提出DP-DyLoRA方法来进一步提高性能。

论文在多个领域的任务上进行了广泛的实验，包括语音识别、计算机视觉和自然语言理解，并提出了DP-LoRA和DP-DyLoRA两种方法。实验结果表明，DP-LoRA方法在现有的DP-PEFT方法中表现最好，DP-DyLoRA方法可以进一步提高性能。论文还开源了代码。

最近的相关研究包括：1）Federated Learning with Differential Privacy，2）Privacy-Preserving Deep Learning，3）Differentially Private Learning with Low Rank Data Matrix Approximation。