ARAGOG: Advanced RAG Output Grading

检索增强生成（RAG）对于将外部知识整合到大型语言模型（LLM）输出中至关重要。虽然有关RAG的文献正在增长，但主要集中在对新的最先进技术与其前身进行系统综述和比较，存在大量实验比较的空白。本研究通过评估各种RAG方法对检索精度和答案相似度的影响，开始填补这一空白。我们发现，假设文档嵌入（HyDE）和LLM重新排名显著增强了检索精度。然而，最大边际相关性（MMR）和Cohere重新排名没有展现出比基线Naive RAG系统更为显著的优势，而多查询方法表现不佳。句子窗口检索在检索精度方面表现最为有效，尽管其在答案相似度方面的表现不稳定。本研究确认了文档摘要索引作为一种有竞争力的检索方法的潜力。与此研究相关的所有资源都可以通过我们的GitHub存储库ARAGOG（https://github.com/predlico/ARAGOG）进行公开访问以供进一步研究。我们欢迎社区在RAG系统的探索性研究方面进行进一步的研究。

本文旨在评估不同的Retrieval-Augmented Generation (RAG)方法对检索精度和答案相似性的影响，并填补实验比较方面的研究空白。

本文使用Hypothetical Document Embedding (HyDE)和LLM reranking显著提高了检索精度，而Maximal Marginal Relevance (MMR)和Cohere rerank相对于基线Naive RAG系统没有明显优势，Multi-query方法表现不佳。Sentence Window Retrieval是检索精度最高的方法，但在答案相似性方面表现不稳定。本文确认了Document Summary Index作为一种有效的检索方法。

本文通过实验比较不同的RAG方法对检索精度和答案相似性的影响，发现了一些有效的方法，并确认了Document Summary Index的有效性。研究者开放了相关资源，包括代码和数据集，以促进该领域的进一步研究。

最近的相关研究主要集中在RAG方法的系统性回顾和与前身技术的比较上，本文填补了实验比较方面的研究空白。相关研究包括“Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”和“Dense Passage Retrieval for Open-Domain Question Answering”。