Privacy-Preserving Recommender Systems with Synthetic Query Generation using Differentially Private Large Language Models

解决问题： 该论文旨在提出一种隐私保护的推荐系统方法，使用差分隐私大型语言模型进行合成查询生成。该方法旨在解决使用差分隐私训练这些复杂系统时的挑战和限制。该方法特别适用于基于大型语言模型的推荐系统，但也可用于处理自然语言输入表示的任何推荐系统。

关键思路： 论文的关键思路是使用差分隐私训练方法，在查询生成任务上微调公开预训练的大型语言模型。生成的模型可以生成私有合成查询，这些查询代表原始查询，可以自由共享，用于任何下游非私有推荐训练过程，而不会产生额外的隐私成本。相比直接使用差分隐私训练检索模型的方法，该方法在保证查询级隐私保护的同时，提高了检索质量。

其他亮点： 该论文的实验表明，在保证查询级隐私保护的情况下，使用该方法训练的深度检索模型的检索质量显著提高。该论文使用了公开数据集，但并未开源代码。该方法的亮点在于使用差分隐私大型语言模型进行合成查询生成，可以有效保护用户隐私。

关于作者： Aldo Gael Carranza、Rezsa Farahani、Natalia Ponomareva、Alex Kurakin、Matthew Jagielski、Milad Nasr都是Google AI的研究人员。他们之前的代表作包括：Aldo Gael Carranza在“Differentially Private Learning with PATE”中提出了一种基于教师-学生框架的差分隐私学习方法；Alex Kurakin在“Adversarial Machine Learning at Scale”中提出了一种对抗性攻击的防御方法；Milad Nasr在“Composable and Efficient Privacy in Machine Learning with Sketching”中提出了一种隐私保护的机器学习方法。

相关研究： 近期其他相关研究包括：

  1. "Privacy-Preserving Collaborative Filtering with Randomized Perturbation Techniques"，作者：Chang Liu、Jianwei Yin、Yong Zhang，机构：Huawei Noah's Ark Lab；
  2. "Private Recommendation with Local Differential Privacy"，作者：Yue Wang、Yue Ning、Yong Liu、Hongxia Yang，机构：南京大学、腾讯公司；
  3. "Privacy-Preserving Deep Learning-Based Recommender System"，作者：Wenjun Jiang、Jianwei Yin、Zhuotao Liu、Yong Zhang，机构：Huawei Noah's Ark Lab。

论文摘要：我们提出了一种新颖的方法来开发隐私保护的大规模推荐系统，使用差分隐私大型语言模型(DP LLMs)生成合成查询，克服了在DP训练这些复杂系统中的某些挑战和限制。我们的方法特别适用于基于LLM的推荐系统的新兴领域，但也可以轻松应用于处理自然语言输入表示的任何推荐系统。我们的方法涉及使用DP训练方法在查询生成任务上微调公开预训练的LLM。生成的模型可以生成私有的合成查询，代表原始查询，可以自由共享，用于任何下游的非私有推荐训练程序，而不会产生任何额外的隐私成本。我们评估了我们的方法对于安全有效地训练深度检索模型的能力，并观察到与直接DP训练检索模型的方法相比，在不损害查询级隐私保证的情况下，它们的检索质量有显著提高。

内容中包含的图片若涉及版权问题，请及时与我们联系删除