GraphReader: Building Graph-based Agent to Enhance Long-Context Abilities of Large Language Models

长文本能力对于大型语言模型（LLMs）来说是至关重要的，以应对复杂和长输入任务。尽管已经做出了许多优化LLMs以处理长上下文的努力，但在稳健地处理长输入方面仍存在挑战。本文介绍了GraphReader，这是一个基于图形的代理系统，旨在通过将长文本结构化成图形并使用代理自主地探索这个图形来处理长文本。在收到问题后，代理首先进行逐步分析并制定合理的计划。然后，它调用一组预定义的函数来读取节点内容和邻居，促进对图形的粗到精的探索。在整个探索过程中，代理不断记录新的见解并反思当前情况，以优化过程，直到收集到足够的信息来生成答案。在LV-Eval数据集上的实验结果显示，使用4k上下文窗口的GraphReader，在16k到256k的上下文长度范围内，始终比GPT-4-128k表现出更高的性能。此外，我们的方法在四个具有挑战性的单跳和多跳基准测试中表现出卓越的性能。

GraphReader试图解决长文本处理的挑战，通过将文本结构化为图，并利用代理探索该图来回答问题。这是否是一个新问题？

GraphReader的关键思路是将长文本转化为图，并使用代理探索该图来回答问题。相比当前领域的研究，这篇论文的思路具有创新性。

GraphReader在LV-Eval数据集上表现出色，使用4k上下文窗口在16k到256k的上下文长度范围内始终优于GPT-4-128k。此外，GraphReader在四个具有挑战性的单跳和多跳基准测试中表现出优异的性能。

最近的相关研究包括使用预训练语言模型处理长文本的研究，如GPT-3和GPT-4，以及使用图形结构处理自然语言的研究，如GNN和图神经网络。