Fine-Tuning Large Language Models with User-Level Differential Privacy

我们研究了训练大型语言模型（LLM）的实用且可扩展的算法，采用用户级差分隐私（DP）以确保每个用户贡献的所有示例都受到保护。我们研究了两种DP-SGD的变体：（1）示例级抽样（ELS）和每个示例梯度剪辑，以及（2）用户级抽样（ULS）和每个用户梯度剪辑。我们推导了一种新颖的用户级DP账户，使我们能够计算ELS的可证明紧密的隐私保证。使用这个账户，我们发现，尽管ELS在特定情况下可以优于ULS，但当每个用户拥有多样化的示例集合时，ULS通常会产生更好的结果。我们通过在固定计算预算下进行合成均值估计和LLM微调任务的实验来验证我们的发现。我们发现，在需要强隐私保证或计算预算较大的情况下，ULS明显更好。值得注意的是，我们专注于LLM兼容的训练算法，使我们能够扩展到具有数亿个参数和数十万个用户的数据集。

本论文旨在解决如何在大型语言模型的训练中，使用用户级差分隐私来确保每个用户贡献的示例都得到保护的问题。研究两种不同的差分隐私随机梯度下降算法，并比较它们的性能。

论文提出了两种差分隐私随机梯度下降算法：一个是基于示例级别采样和每个示例梯度剪切的算法，另一个是基于用户级别采样和每个用户梯度剪切的算法。并且提出了一种新的用户级别差分隐私账户，可以计算ELS的严格隐私保证。

论文的实验表明，ULS在需要强隐私保证或计算预算较大的情况下表现更好。此外，论文还着重研究了LLM兼容的训练算法，可以扩展到具有数亿个参数和数十万用户的数据集。论文还提供了开源代码。

相关研究包括：DP-SGD算法的改进、用户级别差分隐私保护的研究、大型语言模型的训练算法等。