HippoRAG: Neurobiologically Inspired Long-Term Memory for Large Language Models

为了在恶劣和不断变化的自然环境中生存，哺乳动物的大脑进化出了存储大量关于世界的知识并不断整合新信息的能力，同时避免灾难性的遗忘。尽管已经取得了令人印象深刻的成就，但是即使使用了检索增强生成（RAG）的大型语言模型（LLMs），它们仍然难以在预训练后高效有效地整合大量新经验。在这项工作中，我们介绍了HippoRAG，这是一个新颖的检索框架，受到人类长期记忆的海马索引理论的启发，以实现更深入和更高效的新经验知识整合。HippoRAG通过协同作用LLMs、知识图谱和个性化PageRank算法来模拟新皮层和海马体在人类记忆中的不同作用。我们将HippoRAG与现有的RAG方法在多跳问答上进行比较，并显示出我们的方法明显优于现有的最先进方法，提高了高达20%。HippoRAG的单步检索实现了与IRCoT等迭代检索相当或更好的性能，同时成本更低，速度更快，速度是后者的10-30倍，而将HippoRAG集成到IRCoT中带来了进一步的显著收益。最后，我们展示了我们的方法可以处理现有方法无法达到的新类型的场景。代码和数据可在https://github.com/OSU-NLP-Group/HippoRAG上获得。

本文旨在解决大语言模型在新经验上的知识整合问题，提出了一种新的检索框架HippoRAG。

HippoRAG模拟了人类长期记忆中新皮层和海马体的不同作用，通过协同使用大语言模型、知识图谱和Personalized PageRank算法来实现更深入、更高效的知识整合。

本文在多跳问答任务上比较了HippoRAG和现有的RAG方法，结果表明HippoRAG的表现显著优于现有方法，性能提升高达20%。HippoRAG的单步检索表现与IRCoT相当甚至更好，速度更快，成本更低。此外，本文还展示了HippoRAG可以解决现有方法无法处理的新型场景。

与本文相关的研究包括检索增强生成（RAG）方法和Personalized PageRank算法的应用。相关论文包括《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》和《Personalized PageRank on Graphs with Time Decay》。