Memp: Exploring Agent Procedural Memory

基于大语言模型（LLM）的智能体在多种任务中表现出色，但它们的程序性记忆往往不够稳健，通常依赖人工设计或纠缠在静态参数中。本研究探索了如何赋予智能体一种可学习、可更新、具备终身演进能力的程序性记忆。我们提出了 Memp 框架，该框架将智能体过往的行为轨迹提炼为两种形式的记忆：细粒度的、逐步的指令，以及更高层次的、类似脚本的抽象表达。我们还探讨了程序性记忆在构建、检索与更新等不同策略下的效果。通过一种动态机制，记忆库能够持续更新、修正和淘汰旧内容，从而与新的经验同步演进。在 TravelPlanner 和 ALFWorld 任务上的实证评估表明，随着记忆库不断完善，智能体在类似任务中的成功率和执行效率稳步提升。此外，从更强模型中构建的程序性记忆依然具有重要价值：将这些记忆迁移至较弱模型后，其性能也得到了显著提升。

论文试图解决大语言模型（LLMs）代理在处理任务时存在的“脆弱程序性记忆”问题，即当前代理的记忆系统要么是人工手动设计的，要么是静态参数中纠缠的，难以持续学习、更新和迁移。这是一个较为新颖的问题，尤其是在强调“终身学习”和动态记忆更新的背景下。

论文提出了一种名为Memp的机制，将代理的历史轨迹提炼为细粒度的步骤指令和高层次的脚本式抽象，构建一个可学习、可更新、可持续进化的程序性记忆库。关键创新在于将记忆的构建（Build）、检索（Retrieval）和更新（Update）作为一个动态机制来设计，并与代理的新经验同步演化。

1. 在TravelPlanner和ALFWorld两个任务导向型数据集上进行了实证评估，结果显示随着记忆库的优化，代理的成功率和效率显著提升。 2. 研究发现从强模型中构建的程序性记忆迁移到弱模型中，也能带来显著性能提升，说明记忆具有良好的泛化能力。 3. 论文强调了记忆库的动态更新机制，包括持续修正和淘汰过时内容，这是以往记忆增强型代理研究中较少关注的方面。 4. 实验设计强调记忆的演化过程，体现了对代理终身学习能力的支持。 5. 论文虽然未提及是否开源代码，但其提出的方法框架具有较高的可复现性。

1. 《Language Models as Knowledge Bases》(Petroni et al., 2019)：探讨语言模型如何作为外部知识库使用。 2. 《Think, Act, Repeat: A Review of Planning in Reinforcement Learning and Language Models》(Zhang et al., 2022)：综述了基于模型的规划方法在强化学习和语言模型中的应用。 3. 《Memorizing Transformers》(Katharopoulos et al., 2020)：提出了带有长期记忆机制的Transformer架构。 4. 《Language Models with Continuous Learning and Memory Editing》(Liu et al., 2023)：研究语言模型的持续学习与记忆编辑能力。 5. 《Learning to Retrieve Reasoning Paths over Large Language Model》(Shao et al., 2023)：探索如何从大模型中检索推理路径。