Retrieval-Augmented Generation with Hierarchical Knowledge

基于图的检索增强生成（RAG）方法显著提升了大型语言模型（LLMs）在特定领域任务中的表现。然而，现有的 RAG 方法未能充分挖掘人类认知中自然存在的层次化知识，这限制了 RAG 系统的能力。在本文中，我们提出了一种新的 RAG 方法，称为 HiRAG，该方法通过利用层次化知识，在索引和检索过程中增强了 RAG 系统的语义理解和结构捕捉能力。我们的大量实验表明，HiRAG 在性能上相比当前最先进的基线方法实现了显著提升。我们所提出方法的代码已开源，可从以下链接获取：[https://github.com/hhy-huang/HiRAG](https://github.com/hhy-huang/HiRAG)。

该论文试图解决现有RAG方法未能充分利用人类认知中固有的层级知识的问题，从而限制了RAG系统在语义理解和结构捕捉方面的能力。这是一个新的问题视角，关注如何通过层级知识提升RAG系统的性能。

论文提出了一种新的RAG方法——HiRAG（Hierarchical RAG），通过引入层级知识来增强RAG系统在索引和检索过程中的语义理解和结构捕捉能力。相比传统RAG方法，HiRAG更注重利用知识的层级关系，从而提升了模型对复杂任务的理解能力。

1. 提出了HiRAG模型，显著优于现有的SOTA基线方法；2. 实验设计全面，验证了HiRAG在不同任务上的有效性；3. 使用了公开数据集进行实验，并开源了代码（https://github.com/hhy-huang/HiRAG）；4. 值得进一步研究的方向包括如何将更多类型的层级知识融入模型以及扩展到多模态任务。

近期相关研究包括：1. 'Dense Passage Retrieval for Open-Domain Question Answering' 提出的密集检索方法；2. 'Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks' 探讨了RAG在知识密集型任务中的应用；3. 'Knowledge Graph Enhanced Pre-training for Language Understanding' 将知识图谱与预训练模型结合以增强语言理解能力。这些研究均关注于改进信息检索和生成的效果，但较少涉及层级知识的应用。