RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs

本文提出了一种新的指令微调框架RankRAG，用于检索增强生成（RAG）中的上下文排序和答案生成。指令微调单个LLM，旨在将上下文排序和答案生成的双重目的融合在一起。具体来说，将少量排序数据添加到训练过程中，指令微调的LLM表现出惊人的效果，优于现有的专家排序模型，包括仅在大量排序数据上微调的相同LLM。在生成方面，我们将我们的模型与许多强大的基线模型进行比较，包括GPT-4-0613，GPT-4-turbo-2024-0409和ChatQA-1.5等。具体而言，我们的Llama3-RankRAG在九个知识密集型基准测试中显着优于Llama3-ChatQA-1.5和GPT-4模型。此外，它在生物医学领域的五个RAG基准测试中也与GPT-4表现相当，而没有在生物医学数据上进行指令微调，展示了其对新领域的卓越泛化能力。

本文旨在提出一种新的指令微调框架RankRAG，用于对单个LLM进行微调，实现上下文排名和答案生成的双重目的。研究旨在解决检索增强生成（RAG）中的问题。

RankRAG使用少量排名数据进行微调，优于现有的专家排名模型，包括仅在大量排名数据上微调的相同LLM。

实验结果表明，Llama3-RankRAG在九个知识密集型基准测试中明显优于Llama3-ChatQA-1.5和GPT-4模型。此外，在生物医学领域的五个RAG基准测试中，即使没有对生物医学数据进行指令微调，Llama3-RankRAG的性能也与GPT-4相当，展示了其出色的泛化能力。

最近的相关研究包括使用LLM的RAG方法以及其他的检索增强模型，如DensePhrases和DEAR。