Encryption-Friendly LLM Architecture

大型语言模型（LLMs）可以根据用户交互提供个性化的响应，但这种用法引起了严重的隐私问题。同态加密（HE）是一种支持在加密状态下进行算术计算的加密协议，为隐私保护机器学习（PPML）提供了潜在的解决方案。然而，transformer的计算强度对于将HE应用于LLMs提出了挑战。在这项工作中，我们提出了一种修改后的HE友好的transformer架构，重点是在个性化（私有）微调后进行推理。利用LoRA微调和高斯核，我们实现了显着的计算加速 - 微调为6.94倍，推理为2.3倍 - 同时保持了与明文模型相当的性能。我们的发现为在数据保护至关重要的领域提供隐私保护的LLM服务提供了可行的概念证明。

本论文旨在解决大型语言模型（LLMs）在提供个性化响应时带来的隐私问题，同时探索使用同态加密（HE）实现隐私保护机器学习（PPML）的可能性。

本论文提出了一种修改过的HE友好的Transformer架构，重点在于个性化微调后的推理。使用LoRA微调和高斯核，实现了显著的计算加速，同时保持了与明文模型相当的性能。

本论文使用了HE来保护LLMs的隐私，提出了一种改进的HE-friendly Transformer架构，实现了计算加速，同时保持了性能。实验结果表明，该架构在隐私保护和计算效率方面表现出色。

在最近的相关研究中，还有一些关于使用HE实现PPML的论文，例如《Privacy-Preserving Deep Learning: An Overview》和《Privacy-Preserving Machine Learning: Threats and Solutions》。