BERGEN: A Benchmarking Library for Retrieval-Augmented Generation

检索增强生成技术可以利用外部知识来增强大型语言模型。鉴于生成式大型语言模型的近期普及，许多检索增强生成方法已被提出，这些方法涉及复杂的不同配置，如评估数据集、收藏、度量、检索器和大型语言模型。不一致的基准测试在比较方法和理解管道中每个组件的影响方面构成了重大挑战。在这项工作中，我们研究了为系统评估检索增强生成技术奠定基础的最佳实践，并提出了BERGEN，一个端到端的库，用于重复研究并标准化检索增强生成实验。在一项重点关注问答的广泛研究中，我们对不同的最先进的检索器、再排序器和大型语言模型进行了基准测试。此外，我们还分析了现有的检索增强生成度量和数据集。我们的开源库BERGEN可以在\url{https://github.com/naver/bergen}下获取。

论文旨在研究Retrieval-Augmented Generation（RAG）技术，解决在生成式大语言模型中引入外部知识的问题，并探究RAG中各个组件的影响。

通过对RAG技术的系统评估，提出了一些最佳实践，并开发了名为BERGEN的开源库，用于规范RAG实验的可重复性，同时对QA领域中的不同retrievers、rerankers和LLMs进行了基准测试。

实验设计详细，使用了不同的数据集和评估指标，开源库BERGEN可用于规范RAG实验的可重复性，论文对现有的RAG指标和数据集进行了分析，提供了实验结果和分析，为RAG技术的发展提供了参考。

在RAG技术的相关研究中，最近的一些论文包括：1. Retrieval-Augmented Language Model Pre-Training（REALM）；2. Dense Passage Retrieval for Open-Domain Question Answering；3. Knowledge Graph Embedding with Iterative Guidance from Soft Rules。