Can LLMs get help from other LLMs without revealing private information?

级联是一种常见的机器学习系统，其中如果本地模型无法准确标记用户数据，则可以查询一个大型远程模型。由于级联系统能够保持任务性能并显著降低推理成本，因此大型语言模型（LLM）的服务堆栈越来越多地使用级联。然而，在本地模型可以访问敏感数据的情况下应用级联系统会构成对用户的重大隐私风险，因为这些数据可能被转发到远程模型。在这项工作中，我们展示了在这种设置中应用级联系统的可行性，方法是为本地模型配备隐私保护技术，以降低查询远程模型时泄露私人信息的风险。为了量化这种设置中的信息泄漏，我们引入了两个隐私度量。然后，我们提出了一种利用最近引入的社交学习范例的系统，在这个范例中，LLM通过交换自然语言相互学习。使用这个范例，我们在几个数据集上证明了我们的方法相对于非级联基准方法，可以最小化隐私损失，同时提高任务性能。

本文旨在解决局部模型访问敏感数据时，级联系统可能造成的隐私风险问题。

通过为局部模型提供隐私保护技术，降低用户查询远程模型时泄露个人信息的风险，并通过社交学习范例提出一种新的系统解决方案。

使用两种隐私度量来量化信息泄露，实验结果表明该方法相对于非级联基线可以提高任务性能并最小化隐私损失。

最近的相关研究包括《Privacy-Preserving Deep Learning》、《Secure Multi-Party Machine Learning》等。