Ragnarök: A Reusable RAG Framework and Baselines for TREC 2024 Retrieval-Augmented Generation Track

你试过新的必应搜索吗？或者你可能尝试过谷歌的AI概述？这些可能听起来很熟悉，因为现代搜索技术已经发展到包括检索增强生成（RAG）系统。它们允许在大型语言模型（LLMs）中搜索和整合实时数据，以提供一个经过充分了解、有属性、简明的摘要，与传统的搜索范式不同，后者依赖于显示排名列表。因此，鉴于这些最新的进展，建立一个区域来构建、测试、可视化和系统地评估基于RAG的搜索系统至关重要。考虑到这一点，我们提出了TREC 2024 RAG Track，以促进评估RAG系统的创新。在我们的工作中，我们阐述了我们为使这个轨道成为现实所做的步骤——我们描述了我们的可重复使用的框架Ragnar\"ok的细节，解释了新的MS MARCO V2.1集合选择的策划，发布了轨道的开发主题，并标准化了帮助终端用户的输入/输出定义。接下来，使用Ragnar\"ok，我们确定并提供了一些关键的工业基线，如OpenAI的GPT-40或Cohere的Command R+。此外，我们还引入了一个基于Web的用户界面，允许通过众包对RAG系统进行成对基准测试。我们开源了我们的Ragnar\"ok框架和基线，以实现未来RAG系统的统一标准。

提出TREC 2024 RAG Track，旨在评估检索增强生成（RAG）系统，解决传统搜索排名列表无法提供详细信息的问题。

使用RAG系统将实时数据纳入大型语言模型（LLM）中，提供详细、简洁的摘要信息，同时提出Ragnar"ok框架和MS MARCO V2.1数据集，以及基于OpenAI的GPT-4o和Cohere的Command R+等工业基线。

提供了一个可重复使用的Ragnar"ok框架和基线，以及一个基于Web的交互式竞技场，可以通过众包进行基准测试，同时开源了这些工具，为未来的RAG系统提供了一个统一的标准。

近期的相关研究包括使用RAG系统进行自然语言推理和问答。