OneGen: Efficient One-Pass Unified Generation and Retrieval for LLMs

尽管最近大型语言模型（LLM）的发展显著增强了各种自然语言处理任务的生成能力，但LLM仍然面临直接处理检索任务的限制。然而，许多实际应用需要检索和生成的无缝集成。本文介绍了一种新颖高效的一次性生成和检索框架（OneGen），旨在提高LLM在需要生成和检索的任务中的性能。所提出的框架通过自回归生成检索令牌来连接传统上用于生成和检索的分离训练方法。这使得单个LLM可以在一个统一的前向传递中同时处理两个任务。我们在两种不同类型的复合任务RAG和实体链接上进行实验，以验证OneGen在训练和推断中的可插拔性、有效性和效率。此外，我们的结果表明，在同一上下文中集成生成和检索可以保留LLM的生成能力，同时提高检索性能。据我们所知，OneGen是第一个使LLM能够在生成过程中进行向量检索的方法。

论文旨在解决需要同时进行生成和检索任务的场景下，大语言模型（LLMs）的限制性问题，提出了一种新的框架OneGen。

OneGen框架通过在自回归生成的过程中引入检索标记，将生成和检索的训练方法融合在一起，实现了一次前向传递中同时处理生成和检索任务，提高了LLMs的性能。

论文在两个不同的复合任务上进行了实验验证OneGen框架的可插拔性、有效性和高效性，结果表明将生成和检索任务融合在同一上下文中，不仅保留了LLMs的生成能力，而且提高了检索性能。此外，OneGen是第一个使LLMs能够在生成过程中进行向量检索的框架。

最近的相关研究包括RAG模型和实体链接模型。