RAGChecker: A Fine-grained Framework for Diagnosing Retrieval-Augmented Generation

尽管检索增强生成（RAG）在利用外部知识方面显示出有希望的能力，但由于RAG的模块化性质，长篇回复的评估和测量的可靠性，对RAG系统进行全面评估仍然具有挑战性。在本文中，我们提出了一个精细的评估框架RAGChecker，该框架结合了检索和生成模块的一套诊断指标。元评估验证了RAGChecker与其他评估指标相比具有更高的与人类判断的相关性。使用RAGChecker，我们评估了8个RAG系统，并对其性能进行了深入分析，揭示了RAG架构设计选择中的有见地的模式和权衡。RAGChecker的指标可以指导研究人员和实践者开发更有效的RAG系统。该工作已在https://github.com/amazon-science/RAGChecker上开源。

本论文旨在解决Retrieval-Augmented Generation (RAG)系统评估的挑战，提出了一个细粒度评估框架RAGChecker，并对8个RAG系统进行了评估和分析。

RAGChecker细粒度评估框架包含一系列检测指标，对检测模块和生成模块进行评估，可以更好地指导研究人员和实践者开发更有效的RAG系统。

论文开源了RAGChecker框架的代码，实验结果表明RAGChecker与人类判断具有更好的相关性，分析了8个RAG系统的性能并揭示了设计选择中的权衡和模式。

近期的相关研究包括使用预训练语言模型的RAG系统和基于检索的对话生成模型。