PDSS: A Privacy-Preserving Framework for Step-by-Step Distillation of Large Language Models

在现实世界应用中，利用大型语言模型（LLMs）进行特定领域任务常常面临两个主要挑战：领域特定知识隐私和资源受限。为了解决这些问题，我们提出了PDSS，一种隐私保护框架，用于逐步提炼LLMs。PDSS采用服务器-客户端架构，其中客户端向服务器的LLM传输扰动的提示以生成原理。然后客户端解码生成的原理，并在多任务学习范式下用于丰富特定任务小语言模型（SLM）的训练。PDSS引入了两种隐私保护策略：指数机制策略和编码器-解码器策略，平衡提示隐私和原理可用性。实验证明了PDSS在各种文本生成任务中的有效性，使得训练具有增强性能的特定任务SLM成为可能，同时优先保护数据隐私。

本文旨在解决利用大型语言模型进行特定领域任务时面临的领域知识隐私和资源限制的问题。

PDSS是一个隐私保护框架，通过在客户端和服务器之间进行扰动和解码，实现了对大型语言模型的逐步蒸馏，以提高特定任务小语言模型的性能。

该框架采用了指数机制策略和编码器-解码器策略来平衡提示隐私和解释可用性。实验表明，PDSS在各种文本生成任务中都具有很好的性能，并提高了特定任务小语言模型的性能。

最近的相关研究包括利用联邦学习和不同隐私保护技术来保护数据隐私。