- 简介我们研究了训练大型语言模型(LLM)的实用且可扩展的算法,采用用户级差分隐私(DP)以确保每个用户贡献的所有示例都受到保护。我们研究了两种DP-SGD的变体:(1)示例级抽样(ELS)和每个示例梯度剪辑,以及(2)用户级抽样(ULS)和每个用户梯度剪辑。我们推导了一种新颖的用户级DP账户,使我们能够计算ELS的可证明紧密的隐私保证。使用这个账户,我们发现,尽管ELS在特定情况下可以优于ULS,但当每个用户拥有多样化的示例集合时,ULS通常会产生更好的结果。我们通过在固定计算预算下进行合成均值估计和LLM微调任务的实验来验证我们的发现。我们发现,在需要强隐私保证或计算预算较大的情况下,ULS明显更好。值得注意的是,我们专注于LLM兼容的训练算法,使我们能够扩展到具有数亿个参数和数十万个用户的数据集。
- 图表
- 解决问题本论文旨在解决如何在大型语言模型的训练中,使用用户级差分隐私来确保每个用户贡献的示例都得到保护的问题。研究两种不同的差分隐私随机梯度下降算法,并比较它们的性能。
- 关键思路论文提出了两种差分隐私随机梯度下降算法:一个是基于示例级别采样和每个示例梯度剪切的算法,另一个是基于用户级别采样和每个用户梯度剪切的算法。并且提出了一种新的用户级别差分隐私账户,可以计算ELS的严格隐私保证。
- 其它亮点论文的实验表明,ULS在需要强隐私保证或计算预算较大的情况下表现更好。此外,论文还着重研究了LLM兼容的训练算法,可以扩展到具有数亿个参数和数十万用户的数据集。论文还提供了开源代码。
- 相关研究包括:DP-SGD算法的改进、用户级别差分隐私保护的研究、大型语言模型的训练算法等。
沙发等你来抢
去评论
评论
沙发等你来抢