Interactive Analysis of LLMs using Meaningful Counterfactuals

反事实例子对于探索机器学习模型的决策边界和确定特征归因非常有用。我们如何应用基于反事实的方法来分析和解释LLMs呢？我们确定了以下关键挑战。首先，生成的文本反事实应该对用户有意义和可读性，因此可以在脑海中进行比较以得出结论。其次，为了使解决方案可扩展到长篇文本，用户应该配备工具，以从各种粒度级别的扰动中创建批量的反事实，并交互式地分析结果。在本文中，我们解决了上述挑战，并贡献了以下两点：1）一种新颖的算法，用于通过删除和替换不同粒度的文本片段生成完整且有意义的文本反事实批次，以及2）LLM分析器，一种交互式可视化工具，可帮助用户通过交互式检查和聚合有意义的反事实来理解LLM的行为。我们通过使用来自医疗、法律、金融、教育和新闻数据集的1,000个样本来评估所提出的算法生成的反事实的语法正确性。在我们的实验中，97.2%的反事实语法正确。通过使用案例、用户研究和专家反馈，我们展示了所提出的交互式可视化工具的有用性和可用性。

如何应用反事实例来分析和解释LLMs？如何解决生成有意义可读性强的文本反事实例的挑战？

提出一种新算法，通过不同粒度的文本删除和替换来生成批量完整且有意义的文本反事实例，并提出交互式可视化工具LLM Analyzer来帮助用户理解LLM的行为。

算法生成的反事实例文本语法正确率达97.2%。使用医疗、法律、金融、教育和新闻数据集进行实验评估。提出交互式可视化工具LLM Analyzer，可用于交互式检查和汇总有意义的反事实例。论文具有很好的可读性和可操作性。

近期相关研究包括使用反事实例来解释深度学习模型、生成自然语言反事实例等。