LLMmap: Fingerprinting For Large Language Models

本文介绍了一种名为LLMmap的指纹攻击，旨在针对集成LLM的应用程序。LLMmap采用主动指纹识别方法，向应用程序发送精心设计的查询，并分析响应以识别使用的特定LLM模型。仅需8次交互，LLMmap就可以以超过95％的准确度准确识别LLMs。更重要的是，LLMmap旨在在不同的应用程序层面上具有鲁棒性，使其能够识别在各种系统提示，随机采样超参数甚至复杂的生成框架（如RAG或Chain-of-Thought）下运行的LLMs。

LLMmap试图通过主动指纹识别方法解决LLM集成应用程序的指纹识别问题。这是否是一个新问题？

LLMmap通过发送特定查询并分析响应来识别应用程序中使用的特定LLM模型。LLMmap的设计使其能够在不同的应用程序层上进行鲁棒指纹识别。

LLMmap可以在少至8个交互中准确识别LLMs，准确率达到95％以上。该论文的亮点包括实验设计，使用的数据集以及开源代码。值得进一步研究的工作包括与LLMmap相似的指纹识别方法以及改进LLMmap的鲁棒性。

最近的相关研究包括基于深度学习的指纹识别方法，如Deep Fingerprinting和Neural Print。