LLM-Generated Black-box Explanations Can Be Adversarially Helpful

大型语言模型（LLMs）正在成为解决和理解复杂问题的重要工具，它们可以作为数字助手生成令人信服的解释，即使只给出这些问题的输入和输出，也可以采用“黑盒”方法。然而，我们的研究揭示了与这种方法相关的隐藏风险，我们称之为“对抗性帮助性”。当LLM的解释使错误答案看起来正确时，就会发生这种情况，这可能导致人们相信不正确的解决方案。在本文中，我们展示了这个问题不仅影响人类，而且影响LLM的评估者。进一步研究，我们确定并检查了LLM使用的关键说服策略。我们的研究结果表明，这些模型采用的策略包括重新构思问题、表达更高的信心水平和挑选证据以使具有误导性的答案看起来可信。为了检查LLMs是否能够在生成对抗性有益的解释时导航复杂结构化知识，我们创建了一个基于图形导航的特殊任务。大多数LLMs无法在简单的图形上找到替代路径，这表明它们的误导性解释并不仅仅是通过使用复杂知识进行逻辑推理而产生的。这些发现揭示了黑盒解释设置的局限性，并使我们能够提供有关安全使用LLMs的建议。

揭示大型语言模型在黑匣子解释中存在的对策略

揭示大型语言模型在黑匣子解释中存在的对策略，即对抗性的帮助性，以及这些模型在处理复杂结构知识时的局限性

研究发现大型语言模型在黑匣子解释中存在对抗性的帮助性，即其解释可能会让错误答案看起来正确，进而导致人们信任错误解决方案。论文揭示了大型语言模型使用的关键说服策略，如重新构思问题、表达高度的自信以及挑选证据来使误导性答案看起来可信。此外，论文还通过实验验证了大型语言模型在处理复杂结构知识时的局限性。

与该论文相关的研究包括：《对抗性样本生成方法综述》、《关于深度学习的黑盒解释》、《大型语言模型的解释和可解释性：现状与展望》等。