Knowledge Conflicts for LLMs: A Survey

这项调查提供了关于大型语言模型（LLMs）知识冲突的深入分析，突出了它们在融合上下文和参数化知识时遇到的复杂挑战。我们的重点是三类知识冲突：上下文-内存、上下文间和内存内冲突。这些冲突可以显著影响LLMs的可信度和性能，特别是在噪声和错误信息普遍存在的实际应用中。通过对这些冲突进行分类、探索原因、检查LLMs在这种冲突下的行为，并回顾可用的解决方案，本调查旨在为提高LLMs的鲁棒性策略提供启示，从而成为推进这一不断发展领域研究的宝贵资源。

本文旨在解决大型语言模型（LLMs）在融合上下文和参数化知识时遇到的复杂挑战，特别是在噪声和错误信息普遍存在的实际应用中，这些挑战可能会显著影响LLMs的可靠性和性能。

本文通过对三类知识冲突（上下文-内存、跨上下文、内存内冲突）进行分类、探究原因、研究LLMs在冲突下的行为以及审查可用解决方案，旨在提高LLMs的鲁棒性，为推进这一领域的研究提供有价值的资源。

本文提供了对LLMs知识冲突的深入分析，探究了其影响可靠性和性能的复杂挑战，同时提出了解决方案。实验使用了多个数据集，并提供了开源代码，值得进一步研究。

最近的相关研究包括：1. GPT-3的研究；2. XLNet的研究；3. BERT的研究。