HIRO: Hierarchical Information Retrieval Optimization

大型语言模型（LLMs）在自然语言任务中表现出色，但由于静态训练数据集的限制，导致响应过时或上下文浅显。检索增强生成（RAG）通过整合实时外部知识来解决这个问题，提高模型的准确性和可信度，特别是针对知识密集型任务。然而，RAG增强的LLMs在处理长上下文时遇到困难，导致它们在信息过载时“窒息”，影响响应质量。最近的RAG应用程序使用分层数据结构存储文档，以不同的摘要和信息密度级别进行组织。在这种情况下，我们介绍了一种新的查询方法HIRO（分层信息检索优化），用于使用分层结构存储文档的RAG应用程序。HIRO采用基于DFS的递归相似度得分计算和分支修剪，以最小化返回给LLM的上下文，同时不丢失信息。HIRO在NarrativeQA数据集上的绝对性能提高了10.85％，优于现有的查询机制。

论文旨在解决RAG-enhanced LLMs在处理长文本时因信息过载而导致响应质量下降的问题。

论文提出了一种名为HIRO的查询方法，使用分层结构存储文档，并采用DFS递归相似度得分计算和分支修剪来最小化返回给LLM的上下文，从而提高响应质量。

论文在NarrativeQA数据集上进行了实验，结果表明HIRO相比现有的查询机制具有更好的表现，绝对性能提高了10.85%。论文的方法可以应用于知识密集型任务，并且有望进一步优化。

近期的相关研究包括使用BERT模型进行文本检索的研究，如《Dense Passage Retrieval for Open-Domain Question Answering》。