LIR$^3$AG: A Lightweight Rerank Reasoning Strategy Framework for Retrieval-Augmented Generation

检索增强生成（RAG）通过将检索到的外部知识融入生成过程，有效提升了大语言模型（LLM）的能力。推理模型在多跳问答任务中改善了大语言模型的表现，这类任务需要整合并推理来自不同文档的多个证据片段，以回答复杂问题。然而，这些方法通常带来显著的计算开销，包括更高的令牌消耗和推理延迟。为了更深入地理解并缓解这一权衡，我们对推理模型在RAG多跳问答任务中的推理策略进行了全面研究。研究发现，推理模型采用结构化的策略来融合检索到的知识与内部知识，主要表现为两种模式：基于上下文的推理（Context-Grounded Reasoning），即直接依赖于检索内容进行推导；以及知识协调式推理（Knowledge-Reconciled Reasoning），即利用模型内部知识解决信息冲突或填补空白。基于上述发现，我们提出了一种新颖的轻量级重排序推理策略框架LiR$^3$AG，使非推理模型也能通过将检索到的证据重构为连贯的推理链，从而迁移使用这些推理策略。LiR$^3$AG平均减少了98%的输出令牌开销和58.6%的推理时间，同时使8B规模的非推理模型F1得分提升了6.2%至22.5%，性能甚至超过了RAG场景下32B规模的推理模型，为RAG系统的发展提供了一条高效且实用的新路径。

论文试图解决在检索增强生成（RAG）系统中，推理模型在多跳问答任务中带来的高计算成本问题，包括大量输出token消耗和推理延迟。尽管推理模型能提升性能，但其资源开销限制了实际应用。该问题在当前RAG与大模型结合的背景下具有现实意义，并非全新问题，但尚未得到有效平衡。

提出一种轻量级重排序推理策略框架LiR$^3$AG，使非推理模型通过重构检索到的证据为连贯的推理链，从而迁移推理模型所采用的结构化知识整合策略（上下文扎根推理与知识协调推理）。这一思路绕过显式推理过程，在不使用大型推理模型的情况下实现高效且高性能的多跳问答。

实验表明，LiR$^3$AG平均减少98%输出token开销和58.6%推理时间，同时将8B规模的非推理模型F1分数提升6.2%至22.5%，甚至超越32B推理模型的表现。实验设计聚焦于多跳QA场景下的效率与效果权衡，验证了推理策略可被解耦并迁移的新视角。论文未明确提及是否开源代码。值得深入研究的方向包括推理策略的自动化识别与适配、跨模型迁移的泛化能力。

1. Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 2. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models 3. Least-to-Most Prompting Enables Complex Reasoning in Large Language Models 4. Self-Consistency Improves Chain of Thought Reasoning in Language Models 5. MRKL Systems: A Modular, Task-Oriented Architecture for Explanatory AI