Facebook、斯坦福大学 | Submix: Practical Private Prediction for Large-Scale Language Models（面向大规模语言模型的实用隐私预测）

作者：Antonio Ginart,Laurens van der Maaten,等

摘要：本文提出的SUBMIX是第一个即使在公开发布由基于大型Transformer模型做出的数以万计的下一代令牌预测时仍能保持隐私安全的协议。最近的数据提取攻击，暴露了语言模型可以逐字记住部分训练样本，这是一个可能危及训练模型数据隐私的漏洞。在本研究工作中作者提出了 SubMix：一种用于私有下一个令牌预测的实用协议，旨在防止在公共语料库上进行预训练后在私有语料库上进行微调的语言模型侵犯隐私。作者的实验表明：SubMix 通过放松组差异私有预测来限制私有语料库中任何个人用户独有的信息泄漏。重要的是：SubMix提出了一种严格的、依赖于数据的隐私会计机制，这使它能够在保持语言模型的实用性的同时阻止现有的数据提取攻击。

论文下载：https://arxiv.org/pdf/2201.00971

内容中包含的图片若涉及版权问题，请及时与我们联系删除