Evaluation of Retrieval-Augmented Generation: A Survey

检索增强生成（Retrieval-Augmented Generation，RAG）已成为自然语言处理中的一个重要创新，通过整合外部信息检索来增强生成模型。然而，评估RAG系统面临着独特的挑战，因为它们具有混合结构并依赖于动态知识来源。因此，我们增强了一项广泛的调查，并提出了一个RAG系统基准测试的分析框架RAGR（检索、生成、额外需求），旨在通过关注可衡量的输出和已知真相，系统地分析RAG基准测试。具体而言，我们仔细研究并对比了检索和生成组件的多个可量化指标，例如相关性、准确性和忠实度，以及当前RAG评估方法中内部链接的可能输出和基准真值对。我们还分析了不同作品的额外要求的整合，讨论了当前基准测试的局限性，并提出了进一步研究的潜在方向，以解决这些缺点并推进RAG评估领域的发展。总之，本文汇集了与RAG评估相关的挑战，基于提出的RAGR框架，对现有的RAG基准测试方法进行了全面的分析和检查。

如何评估Retrieval-Augmented Generation (RAG)系统的性能？

提出了一个RAGR框架，系统地分析RAG系统的性能指标和评估方法，包括检查Retrieval和Generation组件的多个可量化指标，分析额外需求的整合，讨论当前基准的局限性，并提出未来研究方向。

论文提出的RAGR框架能够帮助研究人员更加全面地评估RAG系统的性能，实验使用了多个数据集进行验证，论文还列举了一些相关工作和未来研究方向。

最近的相关研究包括《Improving Retrieval-Augmented Generation with Context-aware Representations》、《Retrieval-Augmented Generation for Knowledge-Intensive Tasks》等。