Parametric Retrieval Augmented Generation

检索增强生成（RAG）技术作为一种有前景的解决方案，已经出现，旨在通过解决幻觉、知识过时和领域适应等问题来提高大型语言模型（LLMs）的可靠性。特别是，现有的RAG方法通过从外部语料库或数据库中检索相关文档并附加到LLMs的输入中，以指导其生成过程，这种方法我们称之为上下文知识注入法。尽管这种方法简单且通常有效，但它存在固有的局限性。首先，增加上下文长度和相关文档的数量可能导致更高的计算开销和性能下降，特别是在复杂的推理任务中。更重要的是，上下文知识注入主要在输入级别操作，而LLMs的知识存储在其参数中。这种差距从根本上限制了上下文方法的能力。 为此，我们引入了参数化检索增强生成（Parametric RAG），这是一种新的RAG范式，通过文档参数化直接将外部知识集成到LLM的前馈网络（FFN）的参数中。这种方法不仅通过消除将多个文档注入LLM输入上下文的需求节省了在线计算成本，还深化了外部知识与LLM参数化知识空间的整合。实验结果表明，参数化RAG显著提高了LLM中知识增强的效果和效率。此外，它还可以与上下文RAG方法结合使用，以实现更好的性能。 我们已将所有代码、数据和模型开源，可在以下匿名的GitHub链接中找到：https://github.com/oneal2000/PRAG

论文试图解决大型语言模型（LLMs）中的几个关键问题，包括幻觉现象、知识过时以及领域适应性不足。这些问题导致了模型生成内容的可靠性降低。此外，现有的检索增强生成（RAG）方法在处理复杂推理任务时，由于上下文长度增加和相关文档数量增多，会导致计算开销增大和性能下降。这是否是一个新问题？虽然这些问题是已知的，但如何有效地解决这些问题仍然是一个挑战。

论文提出了一种新的RAG范式——参数化检索增强生成（Parametric RAG），它通过将外部知识直接集成到LLM的前馈网络（FFN）参数中来解决上述问题。相比现有方法，该方案不仅减少了在线计算成本，还更深入地将外部知识融入到LLM的参数空间中，从而提高了知识增强的有效性和效率。这一思路的新颖之处在于它突破了传统的输入级知识注入方式，转向参数级别的知识整合。

论文展示了Parametric RAG在实验中的显著效果，证明其能同时提升知识增强的效果和效率。此外，该方法还可以与传统的RAG方法结合使用，进一步提高性能。值得注意的是，作者开源了所有代码、数据和模型，方便其他研究人员进行复现和进一步研究。未来值得继续深入的研究方向包括如何优化参数化过程以及探索更多应用场景。

最近在这个领域中，还有多项相关研究被进行。例如，《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》探讨了传统RAG方法的应用；《Knowledge-Infused Pretraining for Language Models》研究了如何在预训练阶段注入知识；《Leveraging External Knowledge in Neural Machine Translation》则专注于翻译任务中的外部知识利用。