Private Fine-tuning of Large Language Models with Zeroth-order Optimization

在私有数据集上微调大型预训练模型可能存在侵犯隐私的风险。差分隐私是一种通过强制算法稳定性来减轻隐私风险的框架。DP-SGD使得以保护隐私的方式训练具有私有数据的模型成为可能，但也带来了性能损失和重大工程挑战的新难题。我们引入了DP-ZO，一种通过对零阶优化进行隐私化来保护训练数据隐私的新方法。我们使用的零阶算法SPSA的梯度方向总是随机的，唯一依赖于私有数据的是步长，即一个标量。因此，我们只需要保护标量步长，这是内存高效的。DP-ZO可以使用Laplace或Gaussian噪声实例化，在保守的隐私预算下，为不同任务和模型大小提供了强隐私-效用权衡。值得注意的是，当在SQuAD的1000个训练样本上对OPT-66B进行微调时，DP-ZO表现出仅有1.86％的性能降低，达到（1，$10^{-5}$）-DP。

该论文解决了在使用私有数据微调大型预训练模型时可能侵犯隐私的问题，提出了一种基于差分隐私的零阶优化方法DP-ZO。

DP-ZO的关键思路是通过对随机梯度下降算法中的步长进行隐私保护，实现对训练数据的隐私保护。

论文实验表明，DP-ZO在保证隐私的同时，具有较高的性能和可扩展性，同时在多个任务和模型大小下都表现出了良好的隐私-效用权衡。此外，论文还提供了Laplace和Gaussian噪声两种实现方法，并提供了代码和数据集。

在差分隐私领域，还有一些相关的研究，例如DP-SGD和Federated Learning等。