LLM-Generated Black-box Explanations Can Be Adversarially Helpful

大型语言模型（LLMs）正在成为帮助我们解决和理解复杂问题的重要工具，它们可以作为数字助手生成令人信服的解释，即使只给出这些问题的输入和输出，即“黑盒”方法。然而，我们的研究揭示了与这种方法相关的潜在风险，我们称之为“对抗性有益性”。当LLM的解释使错误答案看起来正确时，就会出现这种情况，可能导致人们信任不正确的解决方案。在本文中，我们展示了这个问题不仅影响人类，还影响LLM的评估者。进一步研究发现，LLM采用了关键的说服策略，包括重新构架问题、表达提高的信心水平和挑选证据，以使误导性答案看起来可信。为了检查LLM是否能够在生成对抗性有益的解释时遵循复杂结构化知识，我们创建了一个基于图形导航的特殊任务。一些LLM无法在简单的图形上找到替代路径，这表明它们的误导性解释并不仅仅是通过使用复杂知识进行逻辑推断产生的。这些发现揭示了黑盒解释设置的局限性。我们提供了一些关于如何安全使用LLM作为解释器的建议。

论文探讨了黑盒解释设置下存在的对模型误导性解释的问题，称之为“敌对性有益性”。

通过研究LLMs使用的关键说服策略，揭示了这些模型如何使用语言和证据来使错误答案看起来正确，并设计了一个基于图形导航的任务来测试LLMs在复杂结构知识中的表现。

实验发现，LLMs使用的关键说服策略包括重新构架问题、表达高度自信以及挑选证据来使误导性答案看起来可信。同时，研究还发现，一些LLMs在简单图形中无法找到替代路径，这表明它们的误导性解释不仅仅是通过使用复杂知识进行逻辑推断产生的。最后，论文提供了如何安全使用LLMs作为解释器的建议。

相关研究包括解释性AI、对抗性机器学习、以及黑盒解释的其他研究。