Differentially Private In-Context Learning

解决问题：本篇论文试图解决的问题是如何在保证隐私的前提下，将私有数据应用于大型语言模型（LLMs）中。该问题是当前领域内的新问题。

关键思路：本文提出了一种名为“差分隐私上下文学习（DP-ICL）”的方法，通过使用“报告-嘈杂-最大（Report-Noisy-Max）”机制，在示例集合上建立嘈杂的共识，从而进行私有推断。相比当前领域的研究状况，本文的思路在于提出了一种新的方法，可以在保证隐私的前提下，对LLMs进行任务适应。

其他亮点：本文在四个基准测试中评估了DP-ICL，并发现其与非私有ICL相比具有可比性的性能（<2\%的降级）。本文的实验设计合理，使用了公开数据集，但未开源代码。值得进一步研究的工作是如何在更广泛的应用场景中使用DP-ICL。

关于作者：本文的主要作者是Ashwinee Panda、Tong Wu、Jiachen T. Wang和Prateek Mittal。他们分别来自普林斯顿大学和德克萨斯大学奥斯汀分校。Ashwinee Panda曾在USENIX Security和NDSS等会议上发表过多篇论文。Tong Wu曾在IEEE S&P、USENIX Security和ACM CCS等会议上发表过多篇论文。Jiachen T. Wang曾在ICML、NeurIPS和AAAI等会议上发表过多篇论文。Prateek Mittal曾在IEEE S&P、USENIX Security和ACM CCS等会议上发表过多篇论文。

相关研究：近期的相关研究包括：1）“Differentially Private Learning of Geometric Concepts”（作者：Kamalika Chaudhuri等，机构：卡内基梅隆大学）；2）“Privacy-Preserving Text Classification with Learned Randomized Perturbation”（作者：Xiaojun Ye等，机构：南洋理工大学）；3）“Differentially Private Distributed Learning on Vertically Partitioned Data”（作者：Tianhao Wang等，机构：加州大学洛杉矶分校）。

论文摘要：我们提出了差分隐私上下文学习（DP-ICL）的方法，以解决在部署大型语言模型（LLMs）时如何利用私有数据的问题。DP-ICL通过使用报告嘈杂最大机制，在示例集合上建立嘈杂的共识，从而执行私有推断。我们在四个基准测试上评估了DP-ICL，并发现它的性能与非私有ICL相当（<2％的退化）。这使得LLMs能够适应新任务，同时保持隐私保证。

内容中包含的图片若涉及版权问题，请及时与我们联系删除