Pistis-RAG: A Scalable Cascading Framework Towards Content-Centric Retrieval-Augmented Generation

希腊神话中，Pistis 象征着诚信、信任和可靠性。Pistis-RAG 框架从这些原则中汲取灵感，旨在解决大规模检索增强生成（RAG）系统面临的挑战。该框架由不同的阶段组成：匹配、预排序、排序、推理和聚合。每个阶段都有助于缩小搜索空间，优先考虑语义相关的文档，与大型语言模型（LLM）的偏好相一致，支持复杂的思路链（CoT）方法，并结合多个信息来源。 我们的排序阶段引入了一个重要的创新，即意义相关性本身可能不会导致生成质量的提高，这是由于在先前的研究中注意到的 few-shot prompt order 的敏感性。这个关键方面在当前的 RAG 框架中经常被忽视。 我们认为，LLMs 和外部知识排序方法之间的对齐问题与 RAG 系统中主导的模型中心范式有关。我们提出了一种内容为中心的方法，强调 LLMs 和外部信息源之间的无缝集成，以优化特定任务的内容转换。 我们的新型排序阶段是专门为 RAG 系统设计的，结合了信息检索的原则，同时考虑了 LLM 偏好和用户反馈所反映的独特业务场景。我们在 MMLU 基准测试上模拟了反馈信号，结果表明性能提高了 9.3%。我们的模型和代码将在 GitHub 上开源。此外，对真实的大规模数据进行的实验验证了我们框架的可扩展性。

本论文旨在解决大规模检索增强生成（RAG）系统面临的挑战，提出了一种可扩展的多阶段框架 Pistis-RAG。该框架的每个阶段都有其作用，如缩小搜索空间、优先处理语义相关的文档、对齐大型语言模型（LLM）的偏好、支持复杂的思路链（CoT）方法以及从多个来源汇总信息等。

本论文提出了一种全新的排名阶段，强调无缝集成LLMs和外部信息源，以优化特定任务的内容转换。该排名阶段考虑到LLM偏好和用户反馈，采用信息检索原则，解决了当前RAG框架中模型和外部知识排名方法之间的对齐问题。

论文采用了MMLU基准进行了模拟反馈信号实验，结果表明性能提高了9.3%。同时，论文还在真实的大规模数据上进行了实验，验证了框架的可扩展性。作者将模型和代码开源在GitHub上。

与本论文相关的研究包括检索增强生成系统领域的其他研究，如RAG、T5、BART等。