Adaptive Chameleon or Stubborn Sloth: Unraveling the Behavior of Large Language Models in Knowledge Conflicts

解决问题：本文旨在研究大型语言模型（LLMs）在遇到知识冲突时的行为，并探究LLMs对外部信息的接受度。该论文提出了一种系统性的框架，用于从LLMs中提取高质量的参数记忆，并构建相应的对抗记忆，以进行一系列受控实验。

关键思路：该论文的关键思路是通过构建对抗记忆，揭示LLMs在遇到知识冲突时的行为。与当前领域的研究相比，该论文的思路在于提出了一种新的方法来探究LLMs的行为。

其他亮点：该论文的实验通过构建对抗记忆，揭示了LLMs在遇到知识冲突时的行为，发现LLMs在面对相反的外部证据时也可以高度接受，但在外部证据与其参数记忆一致时，也表现出强烈的确认偏见。该论文的实验基于多个数据集进行，但未开源代码。这些结果对于进一步开发和部署工具和检索增强的LLMs具有重要的启示和参考价值。

关于作者：本文的主要作者包括Jian Xie、Kai Zhang、Jiangjie Chen、Renze Lou和Yu Su。他们分别来自华盛顿大学、微软研究院和加州大学洛杉矶分校。他们之前的代表作包括《Neural Text Generation: A Practical Guide》、《Natural Language Processing with Python》和《Transformers for Natural Language Processing》等。

相关研究：近期其他相关的研究包括《Retrieval-Augmented Language Model Pre-Training》（Yunqi Qiu等）、《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》（Colin Raffel等）和《Improving Language Understanding by Generative Pre-Training》（Alec Radford等）。这些研究都探讨了语言模型的增强方法和技术。

论文摘要：通过向大型语言模型（LLM）提供外部信息，工具增强（包括检索增强）已成为解决LLM静态参数化记忆限制的有前途的解决方案。然而，当外部信息与其参数化记忆产生冲突时，LLM对这种外部证据的接受程度如何？我们提出了一个系统框架，从LLM中提取高质量的参数化记忆并构建相应的对立记忆，使我们能够进行一系列控制实验。我们的研究揭示了LLM的表现似乎是相互矛盾的。一方面，与之前的智慧不同，我们发现，LLM在外部证据是一致和有说服力的情况下，即使与其参数化记忆产生冲突，也可以高度接受外部证据。另一方面，当外部证据包含与其参数化记忆一致的信息时，尽管同时呈现了冲突证据，LLM也表现出强烈的确认偏见。这些结果对于进一步开发和部署工具和检索增强的LLM具有重要的启示意义，值得仔细考虑。

内容中包含的图片若涉及版权问题，请及时与我们联系删除