C-RAG: Certified Generation Risks for Retrieval-Augmented Language Models

尽管大型语言模型（LLM）在各种应用中具有令人印象深刻的能力，但它们仍然存在可信度问题，例如幻觉和错位。检索增强语言模型（RAG）已被提出以通过基于外部知识来增强生成结果的可信度，但它们的生成风险的理论理解尚未被探索。本文回答了以下问题：1）RAG是否确实能够导致低的生成风险，2）如何对RAG和普通LLM的生成风险提供可证明的保证，以及3）什么样的充分条件使RAG模型能够降低生成风险。我们提出了C-RAG，这是第一个为RAG模型证明生成风险的框架。具体而言，我们为RAG模型提供了符合风险分析，并证明了生成风险的上限置信界，我们将其称为符合生成风险。我们还为在测试分布转移下的一般有界风险函数提供了符合生成风险的理论保证。我们证明，当检索模型和变压器的质量非常高时，RAG实现的符合生成风险低于单个LLM的符合生成风险。我们在四个广泛使用的NLP数据集上使用了四个最先进的检索模型，进行了大量的实证结果，证明了我们的符合生成风险保证的合理性和紧密性。

解决问题：论文试图提高检索增强语言模型（RAG）的可信度，探索其生成风险的理论理解。

关键思路：提出了C-RAG框架，为RAG模型提供可证明的生成风险保证，使用符合风险分析来证明RAG模型的生成风险上界，证明了在检索模型和变压器质量非平凡的情况下，RAG模型的生成风险优于单个LLM。

其他亮点：论文提供了在四个广泛使用的NLP数据集上的实验结果，证明了C-RAG框架的可靠性和紧密性。研究者还提供了理论保证，证明了RAG模型的一般有界风险函数在测试分布转移下的符合生成风险保证。论文还探讨了RAG模型的生成风险问题，以及如何提供可证明的生成风险保证。

相关研究：最近的相关研究包括使用外部知识来增强生成模型的工作，以及使用符合风险分析来提供生成保证的工作。