SLIP: Securing LLMs IP Using Weights Decomposition

近年来，大型语言模型（LLMs）在学术界和工业界得到了广泛应用。随着这些模型的不断发展，它们成为了有价值的知识产权，反映了所有者的巨大投资。此外，云端部署的高成本促使人们将目光投向边缘设备的部署，但这会冒着参数被盗窃和未经授权使用的风险。目前保护边缘部署模型知识产权的方法在实用性、准确性损失或适应性方面存在局限性。在本文中，我们介绍了一种名为SLIP的新型混合推理算法，旨在保护边缘部署模型免受盗窃。SLIP是第一个既适用于实际应用又具有可证安全性的混合协议，同时对精度没有任何降低并对延迟影响最小。它通过矩阵分解将模型分配到两个计算资源中，一个安全但昂贵，另一个成本效益高但易受攻击。通过这种方式，确保安全资源保留模型知识产权的最敏感部分，同时进行最少量的计算，易受攻击的资源则相反。重要的是，该协议包括安全保障，防止攻击者利用分区推断被保护的信息。最后，我们展示了实验结果，证明了我们方法的鲁棒性和有效性，将其定位为保护LLMs的一个令人信服的解决方案。

保护边缘部署的大型语言模型的知识产权（IP）免受盗窃和未经授权使用的风险。当前的保护方法存在实用性、精度损失或适用性方面的限制。

提出一种名为SLIP的混合推理算法，通过矩阵分解将模型分为两个计算资源，一个安全但昂贵，另一个成本效益高但容易受到攻击。确保安全资源保留模型IP的最敏感部分，同时执行最少量的计算，易受攻击的资源则相反。算法具有实用性和可证明的安全性，对精度和延迟影响最小。

SLIP是第一个既实用又可证明安全的混合协议，精度没有降低，对延迟影响最小。实验结果表明了该方法的鲁棒性和有效性。

相关研究包括保护模型知识产权的方法，如水印和加密，以及在边缘设备上执行模型推理的方法，如剪枝和量化。其中一些研究包括“基于水印的模型保护”和“在边缘设备上执行神经网络推理的综合框架”。