LLM-based Query Expansion Fails for Unfamiliar and Ambiguous Queries

查询扩展（QE）通过引入相关术语来提升检索效果，而大型语言模型（LLMs）为传统的基于规则和统计的方法提供了一种有效的替代方案。然而，基于LLM的QE存在一个根本性的局限：它常常无法生成相关知识，从而降低搜索性能。以往的研究主要关注了“幻觉”问题，但其根本原因——LLM的知识缺陷——仍然未被充分探索。本文系统地分析了基于LLM的QE中的两种失败情况：（1）当LLM缺乏与查询相关的知识时，会导致错误的扩展；（2）当查询本身具有歧义时，会导致偏向性的细化，从而缩小搜索范围。我们在多个数据集上进行了受控实验，评估了知识不足和查询歧义对稀疏和稠密检索模型检索性能的影响。实验结果表明，当LLM的知识不足或查询歧义较高时，基于LLM的QE可能会显著降低检索效果。我们提出了一种框架，用于在这些条件下评估QE，并为理解基于LLM的检索增强技术的局限性提供了洞见。

论文试图解决大型语言模型（LLM）在查询扩展（QE）中的知识不足和查询歧义问题，这些问题可能导致检索性能下降。这是一个已知但尚未系统研究的问题，特别是关于LLM知识缺陷对QE的影响。

论文提出通过系统性实验分析两种主要的LLM-QE失败情况：1）LLM缺乏查询相关知识；2）查询本身存在歧义。相比传统研究聚焦于幻觉现象，该研究深入探讨了LLM知识不足的根本原因及其对检索效果的具体影响。

论文设计了控制变量实验，评估知识不足和查询歧义对稀疏与稠密检索模型的影响，并引入了一个框架来量化这些因素的作用。实验覆盖多个数据集，但未提及代码开源情况。未来可进一步研究如何结合外部知识源或上下文信息以缓解LLM的知识局限性。

近期相关研究包括：1）利用LLM进行检索增强的方法（如RAG、ATLAS）；2）针对幻觉问题的研究（如Hallucination in LLMs: Causes and Mitigations）；3）基于外部知识库的查询扩展技术（如Knowledge-Infused Retrieval）。此外，还有关于查询歧义处理的工作，例如Query Disambiguation with Contextual Information。