MPC-Minimized Secure LLM Inference

基于大型语言模型（LLMs）的许多推断服务存在隐私问题，可能会向服务透露用户提示或向用户透露专有权重。安全推断通过安全多方计算（MPC）提供了解决此问题的方案，但由于MPC带来的大量开销，对于现代LLM工作负载而言仍然不切实际。为了解决这个问题，我们提出了Marill框架，该框架将LLM微调适应于在安全推断期间最小化MPC使用。Marill在微调过程中引入了高级架构变化，通过在MPC内部删除某些操作并将其他操作重定位到MPC之外，显著减少了推断期间需要的昂贵操作数量，同时不会影响安全性。因此，Marill生成的模型在所有安全推断协议中都更加高效，且我们的方法可以补充MPC友好的这些操作的近似值。与标准微调相比，Marill在各种MPC设置下进行安全推断时，运行时间和通信效率分别提高了3.6-11.3倍和2.4-6.9倍，同时通常保留了90%以上的下游任务性能。

本文的问题是如何在保证隐私的前提下，减少MPC的使用量，提高LLM模型的效率？

本文提出了一种名为Marill的框架，通过对LLM的fine-tuning进行高层次的架构调整，来减少在MPC过程中需要的昂贵操作的数量，同时不会影响安全性。Marill生成的模型在所有安全推理协议中都更加高效，并且可以与MPC友好的操作一起使用。

实验表明，与标准的fine-tuning相比，Marill在各种MPC设置下的安全推理过程中，运行时间和通信量分别提高了3.6-11.3倍和2.4-6.9倍，同时通常保留了超过90%的下游任务性能。本文的方法为解决LLM模型的隐私问题提供了新思路。

在近期的研究中，也有一些相关的工作，如《SecureML: A System for Scalable Privacy-Preserving Machine Learning》、《Privacy-Preserving Deep Learning》等。