BookRAG: A Hierarchical Structure-aware Index-based Approach for Retrieval-Augmented Generation on Complex Documents

作为一种有效提升大语言模型（LLM）在问答（QA）任务上性能的方法，检索增强生成（Retrieval-Augmented Generation, RAG）通过从外部复杂的文档中查询高度相关的信息，已受到工业界和学术界的广泛关注。现有的RAG方法通常聚焦于一般性文档，而忽略了大量现实世界中的文档（如书籍、小册子、手册等）具有层次化结构这一事实，这类结构从不同粒度层级组织内容，从而导致现有方法在问答任务上的表现不佳。为解决这些局限，我们提出了BookRAG——一种针对具有层次结构的文档设计的新型RAG方法，该方法利用逻辑层次结构并追踪实体间关系以检索高度相关的信息。具体而言，我们构建了一种名为BookIndex的新型索引结构：首先从文档中提取出一个层次树，作为其目录；然后使用图结构捕捉实体之间的复杂关系，并将实体映射到树节点上。基于BookIndex，我们进一步提出一种受信息觅食理论启发的基于智能体的查询方法，该方法能够动态地对查询进行分类，并采用定制化的检索流程。在三个广泛使用的基准数据集上开展的大量实验表明，BookRAG实现了最先进的性能，在检索召回率和问答准确率方面均显著优于基线方法，同时保持了良好的效率。

现有检索增强生成（RAG）方法主要针对一般性文档，忽略了现实世界中许多文档（如书籍、手册等）具有层次化结构的特点，导致在问答任务中难以有效利用不同粒度层级的信息，影响性能表现。这是一个尚未被充分研究的问题，尤其在处理结构化复杂文档时显得尤为重要。

提出BookRAG，一种专为具有层次结构的文档设计的新型RAG框架。其核心是构建BookIndex——一种融合文档层次树结构（类似目录）、实体关系图以及实体到节点映射的索引结构，并基于信息觅食理论设计代理式查询机制，动态分类问题并执行定制化检索流程，从而更精准地定位相关信息。相比传统RAG，该方法首次系统性地利用文档的逻辑层级与语义关联进行检索增强。

在三个广泛使用的基准数据集上进行了大量实验，结果显示BookRAG在检索召回率和问答准确率上均达到SOTA水平，同时保持较高效率。论文设计了合理的消融实验验证各模块贡献；使用了真实场景中的结构化文档数据集（如书籍类文本），但未明确提及是否开源代码。未来可探索将此框架扩展至跨文档推理、动态图更新及多模态手册理解方向。

1. 'Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks', NeurIPS 2020 2. 'Graph-based Retrieval for Document-level Question Answering', ACL 2023 3. 'Hierarchical Transformers for Long Document Processing', EMNLP 2022 4. 'Information Foraging in AI Systems: A Theory-Driven Approach to Retrieval Design', ICML 2023 Workshop