Better wit than wealth: Dynamic Parametric Retrieval Augmented Generation for Test-time Knowledge Enhancement

检索增强生成（RAG）通过从外部来源检索相关文档并将它们纳入上下文中，增强了大型语言模型（LLMs）的能力。虽然它通过提供事实文本提高了可靠性，但随着上下文长度的增长，显著增加了推理成本，并引入了RAG幻觉这一具有挑战性的问题，这主要由LLMs中缺乏相应的参数化知识所导致。一个高效的解决方案是在测试时增强LLMs的知识。参数化RAG（PRAG）通过将文档嵌入到LLMs的参数中以实现测试时的知识增强，从而有效地降低了推理成本，但其高昂的训练和存储成本以及有限的泛化能力极大地限制了其实用性。为了解决这些挑战，我们提出了动态参数化RAG（DyPRAG），这是一种新颖的框架，利用轻量级参数转换模型高效地将文档转化为参数化知识。DyPRAG不仅降低了推理、训练和存储成本，还能动态生成参数化知识，在测试时以即插即用的方式无缝增强LLMs的知识并解决知识冲突。我们在多个数据集上的大量实验验证了DyPRAG的有效性和泛化能力，提供了一种强大且实用的RAG范式，能够在实际应用中实现卓越的知识融合并缓解RAG幻觉问题。我们的代码可在https://github.com/Trae1ounG/DyPRAG获取。

该论文试图解决传统RAG方法在推理过程中成本过高以及RAG幻觉问题。这是一个现有问题，但论文提出了一种新的解决方案来优化这一过程。

关键思路是通过Dynamic Parametric RAG (DyPRAG)框架，利用轻量级参数翻译模型将文档动态转换为参数化知识，从而在测试时增强LLM的知识。相比当前研究状况，DyPRAG不仅降低了训练和存储成本，还实现了动态生成参数化知识的能力，解决了知识冲突问题。

论文设计了广泛的实验，验证了DyPRAG在多个数据集上的有效性和泛化能力，并且开源了代码（https://github.com/Trae1ounG/DyPRAG）。未来可以进一步研究如何优化参数翻译模型的效率和效果，以及探索更多实际应用场景。

相关的研究包括Parametric RAG (PRAG)，它尝试通过离线训练将文档嵌入到LLM参数中，但受到高成本和有限泛化能力的限制。此外，还有其他关于减少RAG幻觉和优化检索增强生成的研究，例如《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》和《Knowledge Matters: Mitigating RAG Hallucination via Context-Aware Prompting》。