Private LoRA Fine-tuning of Open-Source LLMs with Homomorphic Encryption

在对开源大语言模型（LLMs）进行微调时，保护数据的机密性对于敏感应用至关重要。本研究引入了一种交互式协议，该协议改编了低秩适应（LoRA）技术以实现私有化的微调。通过同态加密（HE），可以保护由远程工作节点处理的训练数据和梯度的机密性，这些节点负责执行涉及基础模型权重的大部分计算任务。数据所有者负责协调训练过程，同时仅需极少的本地计算能力和内存资源，从而减少了对昂贵客户端GPU的需求。我们通过微调一个Llama-3.2-1B模型展示了该方法的可行性，并使用与HE兼容的量化技术提供了收敛结果，同时还展示了在GPU硬件上进行HE计算的性能基准测试。这一方法能够支持多种应用场景，例如保密知识库问答、针对AI代码助手的私有代码库微调、基于公司邮件存档生成邮件的AI代理，以及对敏感法律或医疗文档进行分析的模型适配等。

该论文试图解决在敏感应用场景中对大型语言模型（LLMs）进行细调时的数据保密性问题。这是一个重要但具有挑战性的问题，尤其是在涉及隐私数据（如医疗记录、企业内部文档等）时。虽然已有研究关注隐私保护下的机器学习，但在LLM细调领域结合低秩适应（LoRA）和同态加密（HE）的方法尚属新颖。

论文提出了一种基于LoRA与HE相结合的交互式协议，用于实现私有化的LLM细调。通过将模型权重和训练数据加密，远程计算节点能够在不解密的情况下完成大部分计算任务，而数据拥有者仅需负责少量本地计算和协调工作。这种方法不仅保护了数据隐私，还降低了客户侧硬件资源的需求。相比传统方法，这一方案能够有效平衡隐私保护与计算效率。

1. 论文展示了使用HE兼容量化技术对Llama-3.2-1B模型进行细调的可行性，并提供了详细的收敛性和性能基准测试结果；2. 实验设计包括在GPU硬件上评估HE计算的效率，验证了该方法在实际应用中的潜力；3. 提出了多个潜在应用场景，例如私有知识库问答、代码库定制化AI助手等；4. 尽管未明确提及代码开源，但其方法论清晰，为后续研究提供了良好的基础。未来可以进一步探索更高效的加密算法或扩展到更大规模的模型。

近期相关研究包括：1. 使用联邦学习（Federated Learning）保护用户隐私的同时训练LLMs（如Google的FL框架）；2. 基于差分隐私（Differential Privacy）的LLM训练方法；3. 利用安全多方计算（Secure Multi-Party Computation, MPC）实现隐私保护下的模型更新；4. 类似的研究如《Privacy-Preserving Fine-Tuning of Large Language Models via Secure Aggregation》探讨了安全聚合技术在LLM细调中的应用。