Superintelligent Retrieval Agent: The Next Frontier of Information Retrieval

检索增强型智能体正日益成为访问大型组织知识库的主要交互界面；然而，目前绝大多数此类智能体仍将检索过程视为一个“黑箱”：它们先发出试探性查询，检查返回的文本片段，再据此反复调整查询语句，直至获取有用证据为止。这种做法更类似于新手在面对一个陌生数据库时的摸索式搜索，而非专家凭借对专业术语和潜在证据分布的强先验知识所开展的高效导航。其结果是造成了不必要的多轮检索、响应延迟增加，以及查全率低下。 我们提出一种名为“超级智能检索智能体”（SuperIntelligent Retrieval Agent，简称 SIRA）的新方法，将检索中的“超级智能”定义为：能够将原本需多轮试探的探索式搜索，压缩为一次面向整个语料库、具备强判别能力的单次检索操作。SIRA 并非简单地询问“哪些词与当前查询相关”，而是进一步追问：“哪些词最有可能将目标证据从语料库中大量干扰项（corpus-level confusers）中区分出来？” 在语料库端，大语言模型（LLM）预先离线为每篇文档补充其缺失的检索相关词汇；在查询端，LLM 则预测出原始查询中遗漏的关键证据词汇；此外，系统还调用基于词频的统计信息作为工具函数，自动筛除那些在语料库中完全不存在、过于常见或难以产生有效检索区分度的候选扩展词。最终的检索步骤仅需执行一次加权 BM25 检索，将原始查询与经上述验证后的扩展词组合起来一并提交。 在涵盖十个 BEIR 基准数据集及下游问答任务的全面评估中，SIRA 均展现出显著更优的性能，不仅大幅超越了稠密检索器（dense retrievers），也明显优于当前最先进的多轮智能体式基线方法。实验结果表明：一条经过精心构造的词汇级查询——由大语言模型的认知能力引导，并辅以轻量级语料库统计信息——即可在性能上远超成本高昂得多的多轮检索策略；同时，该方法仍保持高度可解释性、无需训练、且计算高效。

传统检索增强型智能体将检索视为黑箱，依赖多轮试探性查询与人工式迭代重写，效率低、延迟高、召回差；论文旨在验证：能否用单次、高度判别性的词汇检索替代多轮探索式检索，从而在不牺牲可解释性与效率的前提下提升检索质量。这是一个对检索范式的新颖重构问题，而非单纯改进现有模型性能。

提出SIRA（SuperIntelligent Retrieval Agent），其核心创新在于将‘检索’重新定义为‘语料判别式压缩’——不是泛化匹配相关词，而是精准识别能将目标证据与语料中高频/干扰文档区分开的稀有、信息性强的判别性词汇；通过LLM离线补全文档缺失搜索词、在线预测查询遗漏证据词，并用轻量级文档频率统计（作为工具调用）动态过滤无效扩展项，最终生成加权BM25单次查询。关键新意在于将LLM用作‘检索认知编译器’，而非生成器或重排序器，且全程无训练、无微调。

在10个BEIR基准（如MSMARCO、TREC-COVID、HotpotQA等）及下游问答任务上全面超越DPR、ColBERTv2及多轮代理基线（如RAG-Chain、Self-RAG）；所有方法纯推理驱动，无需训练或梯度更新；完全基于开源组件（BM25+标准LLM API+DF统计）；代码已开源；值得深入的方向包括：判别性词汇的跨领域迁移性、工具调用统计模块的自适应阈值学习、以及向多模态语料扩展。

RAG: Techniques, Applications, and Future Directions (2023); Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection (NeurIPS 2023); RAG-Token: Fine-grained Retrieval-Augmented Generation with Token-Level Relevance (ACL 2024); DSP: Differentiable Search Policy for Retrieval-Augmented Language Models (ICLR 2024); RECOMP: Retrieval-Augmented Code Generation with Compressed Context (EMNLP 2023)