A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts

目前的大型语言模型不仅受限于最大上下文长度，而且无法稳健地处理长输入。为了解决这些限制，我们提出了ReadAgent，这是一个LLM代理系统，在我们的实验中将有效上下文长度增加了20倍。受到人类交互式阅读长文档的启发，我们将ReadAgent实现为一个简单的提示系统，利用LLM的高级语言能力来（1）决定将哪些内容存储在一个记忆片段中，（2）将这些记忆片段压缩成称为要点记忆的短时记忆，以及（3）采取行动查找原始文本中的段落，如果ReadAgent需要提醒自己相关细节以完成任务。我们使用检索方法、使用原始长上下文和使用要点记忆对ReadAgent进行评估。这些评估在三个长文档阅读理解任务（QuALITY、NarrativeQA和QMSum）上进行。ReadAgent在所有三个任务上优于基线，同时将有效上下文窗口扩展了3-20倍。

本论文旨在解决当前大型语言模型（LLMs）在处理长文本时的限制，提出了一种名为ReadAgent的LLM代理系统，可以将有效上下文长度增加到实验中的20倍。

ReadAgent是一个基于提示的系统，使用LLMs的先进语言能力来决定存储在内存中的内容，将这些内存片段压缩成称为要点记忆的短期记忆，并且在需要时执行操作以查找原始文本中的段落。

ReadAgent在三个长文档阅读理解任务（QuALITY、NarrativeQA和QMSum）上的评估中，相对于基线方法，使用检索方法，使用原始长上下文以及使用要点记忆，均取得了更好的性能。作者还提供了数据集和开源代码。

最近的相关研究包括使用LLMs进行长文本处理的工作，例如GPT-3和T5，以及使用记忆网络的代理系统。