A Light-Weight Large Language Model File Format for Highly-Secure Model Distribution

为了提升大语言模型（LLM）在医疗、法律和金融等特定领域的应用性能，敏感数据正被用于对这些模型进行私有化定制或微调。这类经过私有化调整的LLM被视为个人隐私资产或企业知识产权。因此，在部署与分发过程中保护模型权重并严格保障机密性变得至关重要。然而，现有的模型格式和部署框架几乎不提供对机密性、访问控制或与可信硬件安全集成的内置支持。当前用于保障模型部署安全的方法，要么依赖计算开销高昂的密码学技术，要么依赖高度管控的私有基础设施。尽管这些方法在特定场景下可能有效，但在大规模部署中实施困难且成本高昂。 本文提出了CryptoTensors——一种面向保密型LLM分发的安全且格式兼容的文件结构。CryptoTensors在广泛采用的Safetensors格式基础上扩展而来，引入了张量级别的加密机制和内嵌的访问控制策略，同时保留了延迟加载和部分反序列化等关键特性。该方案支持透明解密与自动化密钥管理，能够在极低开销下实现灵活的授权许可和安全的模型执行。我们实现了一个概念验证库，在多种序列化与运行时场景下对其性能进行了基准测试，并验证了其与Hugging Face Transformers和vLLM等现有推理框架的兼容性。实验结果表明，CryptoTensors是一种轻量级、高效且对开发者友好的解决方案，适用于现实环境中大语言模型权重的大规模安全部署。

论文试图解决在领域特定应用中，使用敏感数据（如医疗、法律、金融）对大语言模型（LLM）进行私有化定制后，模型权重的安全分发与部署问题。现有的模型格式和部署框架缺乏对机密性、访问控制和可信硬件集成的内置支持，导致当前的保护方法要么计算开销大，要么依赖高度管控的私有基础设施，难以广泛部署。这是一个随着LLM在企业与个人场景中普及而日益突出的实际安全问题。

提出CryptoTensors——一种安全且格式兼容的模型文件结构，作为Safetensors格式的扩展。其关键思路是在张量级别引入加密和嵌入式访问控制策略，同时保留懒加载和部分反序列化等关键性能特性。通过透明解密和自动化密钥管理，实现轻量级的安全模型分发与执行，无需昂贵密码学或封闭基础设施。相比现有工作，该方案首次在保持高性能推理兼容性的同时，原生支持细粒度加密与许可控制。

亮点包括：1）实现了与Hugging Face Transformers和vLLM等主流推理框架的无缝兼容；2）设计了低开销的加密机制，在序列化和运行时性能测试中表现出色；3）支持灵活的许可证管理和透明解密流程；4）已开发出概念验证库并进行了系统性基准测试；5）代码有望开源，推动社区采用；6）未来可结合可信执行环境（TEE）进一步增强安全性，值得深入探索。

1. "Safetensors: A Fast and Secure Format for Model Weights" by Hugging Face 2. "Cryptographic Access Control for Neural Networks" in IEEE S&P 2022 3. "Private Inference with Public Models: Privacy-Preserving AI Using Homomorphic Encryption" in MLSys '21 4. "Model License Enforcement via Blockchain-based Attestation" in arXiv 2023 5. "TrustGuard: Secure LLM Deployment using Trusted Execution Environments" in USENIX Security 2024