A + B: A General Generator-Reader Framework for Optimizing LLMs to Unleash Synergy Potential

检索增强生成（RAG）是为大型语言模型（LLMs）提供必要知识的有效解决方案。针对其检索性能瓶颈，本文提出了“生成-读取”管道，用LLM自身的生成替换检索阶段。尽管很有前途，但这个研究方向还没有得到充分的探索，而且在给定源知识的情况下仍无法工作。在本文中，我们规范了一个通用的“A + B”框架，其中包含不同类型和基础模型的组合，以进行系统研究。我们探索了基础模型和聊天版本的LLMs的有效性，并发现它们的不同功能适合生成器A和阅读器B，分别进行使用。它们的组合始终优于单个模型，尤其是在复杂场景中。此外，我们通过持续学习将“A + B”框架的应用扩展到涉及源文档的场景中，从而实现将外部知识直接集成到LLMs中。这种方法不仅有助于有效获取新知识，而且还解决了适应后安全性和有用性的挑战。本文强调了“A + B”框架的多功能性，展示了它在各个领域中增强LLMs实际应用的潜力。

本文试图解决Retrieval-Augmented Generation (RAG)中retriever性能瓶颈的问题，并提出了一个新的“生成-读取”管道解决方案。

本文提出了一个“A + B”框架，通过组合不同类型和基础模型，系统地探索了LLMs中生成模型和读取模型的不同功能，以及它们的组合如何在复杂场景下提高性能。同时，通过持续学习的方式，将外部知识直接整合到LLMs中，解决了源文档知识的应用问题。

本文的实验结果表明，“A + B”框架的组合模型在复杂场景下表现出更好的性能。此外，持续学习的方法可以有效地获取新知识，并解决后期适应的安全性和有用性问题。

最近在这个领域中，还有一些相关的研究，例如《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》。