DomainRAG: A Chinese Benchmark for Evaluating Domain-specific Retrieval-Augmented Generation

检索增强生成（RAG）为解决大型语言模型（LLM）的各种限制提供了有希望的解决方案，例如幻觉和难以跟上实时更新。这种方法在专家和领域特定应用中尤为关键，LLM往往难以涵盖专家知识。因此，在这种情况下评估RAG模型是至关重要的，然而当前的研究通常依赖于维基百科等通用知识来源来评估模型在解决常识问题方面的能力。在本文中，我们通过RAG设置在特定领域的背景下评估了LLM，即大学入学。我们确定了RAG模型的六个必要能力，包括会话式RAG的能力、分析结构信息的能力、忠实于外部知识的能力、去噪能力、解决时间敏感问题的能力和理解多文档交互的能力。每个能力都有一个相关的数据集，共享语料库以评估RAG模型的性能。我们评估了流行的LLM，如Llama、Baichuan、ChatGLM和GPT模型。实验结果表明，现有的闭卷LLM在特定领域的问题上面临困难，突显了RAG模型解决专家问题的需求。此外，RAG模型在理解会话历史、分析结构信息、去噪、处理多文档交互和忠实于专家知识方面的能力还有提高的空间。我们希望未来的研究能够更好地解决这些问题。

本文旨在解决大型语言模型（LLMs）的局限性，如虚构和难以跟上实时更新等问题，特别是在专家和领域特定应用中。作者通过在大学招生这一特定领域中评估RAG模型，提出了6种RAG模型所需的能力，并提供了相应的数据集来评估模型的性能。

本文提出了Retrieval-Augmented Generation (RAG)的方法来解决LLMs的局限性，该方法通过结合检索和生成技术来提高模型的性能。作者在大学招生这一特定领域中评估了RAG模型，并提出了6种RAG模型所需的能力，包括对话RAG的能力、分析结构信息的能力、忠实于外部知识的能力、去噪能力、解决时态敏感问题的能力以及理解多文档交互的能力。

本文的实验结果表明，现有的闭卷LLMs难以解决特定领域的问题，需要RAG模型来解决专家问题。此外，RAG模型在理解对话历史、分析结构信息、去噪、处理多文档交互和忠实于专业知识方面仍有提高的空间。本文使用了特定领域的数据集来评估模型性能，并提供了相应的数据集和开源代码。

最近的相关研究包括使用RAG模型解决自然语言推理问题，如文章标题为“Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”的研究。另外，还有一些研究集中在使用检索和生成技术来解决自然语言问题，如“Dense Passage Retrieval for Open-Domain Question Answering”和“REALM: Retrieval-Augmented Language Model Pre-Training”。