Deceptive AI systems that give explanations are more convincing than honest AI systems and can amplify belief in misinformation

先进的人工智能系统，特别是大型语言模型（LLMs），不仅有能力生成错误信息，还可以生成欺骗性的解释，这些解释可以证明和传播错误信息，并破坏人们对真相的信任。我们在一个预先注册的在线实验中研究了欺骗性AI生成解释对个人信仰的影响，其中包括23,840个观察结果和1,192个参与者。我们发现，与准确和诚实的解释相比，AI生成的欺骗性解释不仅更具有说服力，而且可以显著加剧人们对虚假新闻标题的信仰，并削弱对真实标题的信仰，相比之下，AI系统仅将标题错误地分类为真实/虚假。此外，我们的结果表明，认知反思和对AI的信任等个人因素并不能保护个人免受欺骗性AI生成解释所造成的影响。相反，我们的结果表明，AI生成的欺骗性解释的逻辑有效性，即解释是否对AI的分类真实性产生因果影响，对抵制其说服力起着至关重要的作用，逻辑无效的解释被认为不太可信。这强调了教授逻辑推理和批判性思维技能以识别逻辑无效论点的重要性，从而增强对先进的AI驱动的错误信息的抵御能力。

研究人工智能系统生成的虚假解释对个人信仰的影响，以及个人因素是否能够保护个人免受这种影响。

研究发现，与准确和诚实的解释相比，人工智能生成的虚假解释更具有说服力，并且可以显著增加对虚假新闻标题的信仰，同时削弱对真实新闻标题的信仰。同时，研究还发现，逻辑有效性是对抗虚假解释说服力的关键因素。

实验结果表明，逻辑有效性是对抗虚假解释说服力的关键因素。研究还发现，个人因素如认知反思和对人工智能的信任并不能保护个人免受虚假解释的影响。

最近的相关研究包括：'The spread of true and false news online'，'The role of social media in the discussion of controversial topics'，'Detecting and combating fake news on social media'等。