A Fingerprint for Large Language Models

最近的进展显示，对预训练语言模型进行规模扩展可以在许多下游任务上实现最先进的性能，这促使大型语言模型(LLMs)成为人工智能领域的热门研究课题。然而，由于从头开始训练LLMs的资源密集型性质，保护LLMs的知识产权免受侵权是紧迫和关键的。这激发了本文作者提出了一种新颖的LLMs黑盒指纹技术，该技术既不需要模型训练也不需要微调。我们首先证明LLMs的输出跨越与每个模型相关联的唯一向量空间。我们将所有权认证问题建模为评估受害模型空间和嫌疑模型输出空间之间相似性的任务。为了解决这个问题，我们提出了两种解决方案，其中第一种解决方案涉及验证嫌疑大模型的输出是否与受害模型的输出在同一空间中，从而能够快速识别模型侵权行为，第二种解决方案重构LLMs输出向量空间和受害模型的并集，以应对受害模型经历了参数高效微调(PEFT)攻击的情况。实验结果表明，所提出的技术在所有权验证和对抗PEFT攻击的鲁棒性方面均取得了优异的性能。这项工作揭示了LLMs的固有特性，并为黑盒情况下LLMs的所有权验证提供了有前途的解决方案，确保了效率、通用性和实用性。

该论文旨在解决大型语言模型（LLMs）知识产权侵权问题，提出了一种新的黑盒指纹识别技术。

通过将LLMs的输出视为一个唯一的向量空间，提出了一种无需模型训练或微调的所有权验证方法。

该技术在所有权验证和抵御Parameter-Efficient Fine-Tuning（PEFT）攻击方面表现出色。论文提供了一种解决LLMs知识产权保护的可行方法，并且实验结果表明其有效性。

最近的相关研究包括《Scaling Laws for Neural Language Models》、《Language Models are Few-Shot Learners》等。