TokenSHAP: Interpreting Large Language Models with Monte Carlo Shapley Value Estimation

随着大型语言模型（LLMs）在关键应用中变得越来越普遍，对可解释人工智能的需求也越来越大。我们介绍了TokenSHAP，一种新颖的方法，通过将重要性归因于输入提示中的单个标记或子字符串来解释LLMs。这种方法将合作博弈理论中的Shapley值调整为自然语言处理，提供了一个严格的框架，用于理解输入的不同部分如何对模型的响应做出贡献。TokenSHAP利用蒙特卡罗采样实现计算效率，提供了可解释的、量化的标记重要性度量。我们展示了它在不同的提示和LLM架构中的功效，显示出与人类判断、模型行为的忠实性和一致性方面的现有基线的一致改进。我们的方法捕捉标记之间微妙的交互能力，为LLM行为提供了有价值的见解，增强了模型的透明度，改进了提示工程，并有助于开发更可靠的人工智能系统。TokenSHAP代表了朝着负责任的AI部署所需的可解释性迈出的重要一步，为创造更透明、可信赖的AI系统做出了贡献。

解释大型语言模型中的个体token或子字符串的重要性是一个新兴的问题，本文试图通过提出TokenSHAP方法来解决这个问题。

TokenSHAP方法使用合作博弈理论中的Shapley值来解释大型语言模型中个体token或子字符串的重要性，同时利用Monte Carlo采样提高计算效率。

TokenSHAP方法在各种输入提示和LLM架构上都显示出了良好的效果，并提供了有价值的洞察力，以增强模型透明度、改进提示工程和帮助开发更可靠的AI系统。

最近的相关研究包括LIME、SHAP和Integrated Gradients等方法。