Differentially Private Next-Token Prediction of Large Language Models

确保大型语言模型（LLMs）的隐私越来越重要。目前最广泛采用的技术是DP-SGD，它训练一个模型以保证差分隐私（DP）。然而，DP-SGD高估了对模型具有白盒访问权限的对手的能力，导致训练时间更长，内存使用更大。另一方面，商业LLM部署主要是基于云的，因此对LLMs的敌对访问是黑盒的。受这些观察的启发，我们提出了私有混合集成分布（PMixED）：一种用于下一个标记预测的私有预测协议，利用下一个标记采样的内在随机性和公共模型来实现差分隐私。我们通过引入RD-mollifers来形式化这一点，它将模型的每个输出分布从一组经过精细调整的LLMs的集合投影到公共LLM的输出分布周围的一组集合中，然后对投影分布进行平均并从中进行采样。与DP-SGD需要在训练期间考虑模型架构不同，PMixED是模型无关的，这使得PMixED成为当前部署的一个非常有吸引力的解决方案。我们的结果表明，PMixED实现了比样本级隐私更强的隐私保证，并在大规模数据集上为隐私$\epsilon = 8$优于DP-SGD。因此，PMixED提供了一个实用的替代DP训练方法，可以在不损害隐私的情况下实现强大的生成效用。

论文试图解决的问题是如何保护大型语言模型的隐私问题，提出了一种新的私有预测协议PMixED。

PMixED利用下一个token采样的随机性和公共模型来实现差分隐私，通过RD-mollifers将模型输出的分布从一组经过微调的LLMs投影到公共LLM的输出分布周围的集合上，然后对投影分布进行平均并从中采样。

PMixED是一种模型无关的方法，相对于DP-SGD具有更强的隐私保障，同时在大规模数据集上的隐私性能也优于DP-SGD。论文使用了实验来验证PMixED的性能，并提供了开源代码。

最近的相关研究包括DP-SGD和其他差分隐私技术在语言模型上的应用，如Federated Learning和Secure Aggregation。