A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts

目前的大型语言模型（LLMs）不仅受到一定上下文长度的限制，而且也无法稳健地处理长输入。为了解决这些限制，我们提出了ReadAgent，这是一个LLM代理系统，在我们的实验中将有效上下文长度增加了20倍。受人类交互式阅读长文档的启发，我们将ReadAgent实现为一个简单的提示系统，利用LLMs的先进语言能力来（1）决定将哪些内容存储在一起形成记忆片段，（2）将这些记忆片段压缩成称为要点记忆的短暂记忆，以及（3）如果ReadAgent需要回忆相关细节以完成任务，则采取查找原始文本中的段落的行动。我们使用检索方法、使用原始长上下文以及使用要点记忆来评估ReadAgent在三个长文档阅读理解任务（QuALITY、NarrativeQA和QMSum）上的表现。ReadAgent在所有三个任务上均优于基线，并将有效上下文窗口扩展了3-20倍。

论文试图解决如何增加当前大型语言模型的上下文长度和稳定性的问题。

论文提出了一种名为ReadAgent的大型语言模型代理系统，通过将长文档压缩成简短的情节记忆来增加有效上下文长度，同时使用LLM的高级语言能力来决定存储哪些内容，以及需要查找原始文本中的哪些段落。

论文在三个长文档阅读理解任务上对ReadAgent进行了评估，并与基线、使用原始长上下文和使用情节记忆的检索方法进行了比较。实验结果表明，ReadAgent在三个任务上均优于基线，并将有效上下文窗口扩展了3-20倍。

最近的相关研究主要集中在大型语言模型的性能改进和上下文长度的扩展上，如GShard、Longformer、Big Bird等。