CORAL: Benchmarking Multi-turn Conversational Retrieval-Augmentation Generation

检索增强生成（RAG）已经成为通过外部知识检索增强大型语言模型（LLMs）的强大范式。尽管它受到了广泛关注，现有的学术研究主要集中在单轮RAG上，对于现实应用中复杂的多轮对话问题却存在显著的空白。为了解决这一问题，我们引入了CORAL，这是一个大规模基准测试，旨在评估RAG系统在现实的多轮对话场景中的表现。CORAL包含从维基百科自动衍生出的各种信息寻求对话，解决了开放域覆盖、知识密集性、自由形式响应和话题转换等关键挑战。它支持对话RAG的三个核心任务：段落检索、响应生成和引用标注。我们提出了一种统一框架，以标准化各种对话RAG方法，并在CORAL上对这些方法进行了全面评估，展示了现有方法有巨大的改进空间。

该论文旨在解决现有研究主要集中在单轮对话的检索增强生成（RAG）系统，而忽视了实际应用中复杂的多轮对话的问题。这是一个相对较新的问题，因为多轮对话在现实世界的应用中更为常见，但学术界对此关注较少。

论文提出了一种名为CORAL的大规模基准测试，专门用于评估RAG系统在多轮对话中的表现。CORAL包括从Wikipedia自动提取的多样化的信息寻求对话，涵盖了开放域覆盖、知识密集性、自由形式响应和主题转换等关键挑战。这一框架不仅填补了现有研究的空白，还为评估和改进多轮对话中的RAG系统提供了标准化的方法。

论文的主要亮点包括：1) 设计了一个包含多样化对话的大型基准测试集CORAL；2) 支持三个核心任务：段落检索、响应生成和引用标注；3) 提出了一个统一的框架来标准化各种对话RAG方法；4) 进行了全面的评估，展示了现有方法的改进空间。此外，论文提到的数据集和评估框架有望成为未来研究的重要资源。

近期在这个领域的一些相关研究包括：1) 'Multi-turn Dialogue Modeling with Memory-augmented Retrieval-based Networks'，探讨了记忆增强的检索模型在多轮对话中的应用；2) 'Conversational Knowledge Grounding via Multi-Step Reasoning'，研究了多步推理在对话知识 grounding 中的作用；3) 'Adaptive Context Selection for Multi-turn Response Generation'，提出了自适应上下文选择方法以提高多轮对话的响应质量。