Interactive Prompt Debugging with Sequence Salience

我们提出了Sequence Salience，这是一个可视化工具，用于交互式提示调试和输入显著性方法。Sequence Salience建立在广泛使用的文本分类和单词预测显著性方法之上，并将其扩展为一个专为调试复杂LLM提示而设计的系统。我们的系统非常适合长文本，并通过以下两个方面扩展了以前的工作：1）提供可控制的令牌级显著性聚合到单词、句子或段落级别，使得长输入的显著性可行；2）支持快速迭代，从而从显著性结果中提取信息，改进提示，并在新输出上运行显著性。我们包括案例研究，展示了Sequence Salience如何帮助从业者处理几种复杂的提示策略，包括少量样本、思维链和宪法原则。Sequence Salience建立在Learning Interpretability Tool上，这是一个用于ML模型可视化的开源平台，代码、笔记本和教程可在http://goo.gle/sequence-salience上获得。

Sequence Salience试图解决的问题是如何在复杂的LLM提示下进行交互式提示调试，使用输入显著性方法。这是一个新问题。

论文的解决方案是将广泛使用的文本分类和单词预测显著性方法扩展到适用于调试复杂的LLM提示的系统。该系统适用于长文本，并通过可控制的聚合将单词级显著性扩展到单词、句子或段落级别，使得长输入的显著性变得可行。此外，该系统支持快速迭代，从而使从显著性结果中提取信息、优化提示并运行新输出的过程变得更加高效。

论文的亮点包括：1）提供了可控制的聚合功能，将单词级显著性扩展到单词、句子或段落级别，使得长输入的显著性变得可行；2）支持快速迭代，使得从显著性结果中提取信息、优化提示并运行新输出的过程变得更加高效；3）通过案例研究展示了如何使用Sequence Salience来处理几种复杂的提示策略，包括few-shot、chain-of-thought和宪法原则；4）Sequence Salience是建立在开源平台Learning Interpretability Tool上的，提供了代码、笔记本和教程。

最近的相关研究包括使用显著性方法来解释模型预测的工作，以及使用显著性来识别模型中的错误和不一致性。相关论文包括“Visualizing and Understanding Convolutional Networks”和“Interpretable Machine Learning: A Brief History, State-of-the-Art and Challenges”。