RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval

检索增强语言模型可以更好地适应世界状态的变化并整合长尾知识。然而，大多数现有方法仅从检索语料库中检索短的连续块，限制了对整体文档上下文的全面理解。我们引入了一种新颖的方法，即递归嵌入、聚类和总结文本块，从下往上构建具有不同摘要级别的树。在推理时，我们的RAPTOR模型从这棵树中检索，将不同抽象级别的信息整合到长度不同的文档中。控制实验表明，与传统的检索增强语言模型相比，使用递归摘要的检索可以在多个任务上获得显着的改进。在涉及复杂的多步推理的问答任务中，我们展示了最先进的结果；例如，通过将RAPTOR检索与使用GPT-4相结合，我们可以将QuALITY基准测试的最佳性能提高20%的绝对准确率。

本篇论文旨在解决传统检索增强语言模型中存在的局限性，即检索的文本片段较短，难以获得全局文本信息。同时，论文也试图证明使用递归摘要检索可以在多项任务中提高检索增强语言模型的表现。

本文提出了一种新颖的递归嵌入、聚类和摘要的方法，构建了一棵从底向上具有不同级别摘要的树。在推理时，使用递归摘要检索，将不同抽象级别的信息整合到一起，从而在长文本中获得全局信息。

论文在多项任务中展示了递归摘要检索相比传统检索增强语言模型的显著提升。在需要复杂多步推理的问答任务中，结合GPT-4使用RAPTOR检索，可以将QuALITY基准测试的最佳表现提高20%的绝对准确度。此外，论文也提供了详细的实验设计和数据集信息，并公开了代码。

最近的相关研究包括使用BERT模型进行检索增强的方法，以及使用预训练的语言模型进行文本摘要的方法。