IM-RAG: Multi-Round Retrieval-Augmented Generation Through Learning Inner Monologues

尽管检索增强生成（Retrieval-Augmented Generation，RAG）范式可以利用外部知识增强和基于大型语言模型（Large Language Models，LLMs）的输出，以缓解生成幻觉和静态知识库问题，但它们仍然面临着采用具有不同能力的信息检索（Information Retrieval，IR）系统的灵活性有限、在多轮检索过程中的受限可解释性以及缺乏端到端优化等挑战。为了解决这些挑战，我们提出了一种新的以LLM为中心的方法，即IM-RAG，它通过学习内部独白（Inner Monologues，IM，即人类内心声音来叙述自己的思想）将IR系统与LLMs集成起来，以支持多轮RAG。在IM过程中，LLM作为核心推理模型（即推理器），要么提出查询以通过Retriever收集更多信息，要么根据对话上下文提供最终答案。我们还引入了一种Refiner来改善Retriever的输出，有效地弥合了具有不同能力的推理器和IR模块之间的差距，并促进了多轮通信。整个IM过程通过强化学习（Reinforcement Learning，RL）进行优化，其中包括一个进度跟踪器以提供中间步骤的奖励，而答案预测则通过监督微调（Supervised Fine-Tuning，SFT）进一步进行优化。我们在HotPotQA数据集上进行了大量实验，这是一个流行的基于检索的多步问答基准。结果表明，我们的方法实现了最先进的性能，同时在学习的内部独白中提供了高度灵活性和强大的可解释性。

提出一种新的方法IM-RAG，来解决Retrieval-Augmented Generation (RAG)范式中存在的灵活性差、可解释性不足等问题。

将IR系统与LLMs相结合，通过学习Inner Monologues (IM)实现多轮RAG。在IM过程中，LLM作为核心推理模型，可以通过Retriever提出查询或根据对话上下文提供最终答案。同时引入Refiner，改善Retriever的输出，实现不同能力的IR模块之间的桥梁，促进多轮交流。使用强化学习进行优化，并通过监督微调进一步优化答案预测。

在HotPotQA数据集上进行了广泛的实验，表明该方法在集成IR模块的灵活性和学习到的内在对话上的解释性方面表现出色。同时，该方法在性能上也达到了state-of-the-art水平。

最近的相关研究包括GPT、BERT等LLM模型，以及RAG范式中的其他方法，如DensePhrases、Fusion-in-Decoder等。