CONFLARE: CONFormal LArge language model REtrieval

检索增强生成（Retrieval-augmented generation，RAG）框架使得大型语言模型（Large Language Models，LLMs）能够从知识库中检索相关信息，并将其并入上下文以生成回复。这有助于减轻幻觉现象，并允许在无需重新训练LLM的情况下更新知识。然而，如果检索未能识别必要信息作为回复生成的上下文，RAG无法保证有效的回复。此外，如果存在矛盾的内容，RAG的回复可能只反映其中一个可能的回复。因此，在检索过程中量化不确定性对于确保RAG的可信度至关重要。在本报告中，我们介绍了一个四步框架，将符合性预测应用于量化RAG框架中的检索不确定性。首先，构建一个可从知识库回答的问题的校准集。将每个问题的嵌入与文档嵌入进行比较，以识别包含答案的最相关文档块并记录它们的相似性分数。给定用户指定的错误率（{\alpha}），然后分析这些相似性分数以确定相似性分数的截止阈值。在推断过程中，检索所有相似性超过此阈值的块，以提供上下文给LLM，确保真实答案以（1-{\alpha}）的置信水平捕获在上下文中。我们提供了一个Python包，使用户能够实现我们工作中提出的整个工作流程，仅使用LLMs，无需人为干预。

本论文旨在解决Retrieval-augmented generation (RAG)框架中检索不到必要信息导致生成无效回答的问题，提出了一种利用conformal prediction量化检索不确定性的方法。

论文提出了一个四步框架，应用conformal prediction来量化RAG框架中检索不确定性。该框架通过构建校准集、比较嵌入、确定相似度阈值、检索文本块等步骤来实现。

论文提供了一个Python包，方便用户实现整个工作流程，不需要人工干预。实验结果表明该方法可以有效提高RAG框架的可信度。值得进一步研究的是如何在更大的知识库中应用该方法。

最近的相关研究包括基于知识库的对话生成、检索式对话生成等。