Memp: Exploring Agent Procedural Memory

基于大语言模型（LLM）的智能体在多种任务中表现出色，但它们的程序性记忆往往不够稳健，通常依赖人工设计，或与静态参数纠缠在一起。本研究探索了如何赋予智能体一种可学习、可更新并支持终身学习的程序性记忆。我们提出了 Memp 框架，该框架将智能体过往的执行轨迹提炼为两种形式：细粒度的、逐步的指令，以及更高层次的、类似脚本的抽象表达。同时，我们探讨了程序性记忆在构建、检索和更新方面不同策略的效果。通过一种动态机制，程序性记忆的内容可以持续更新、修正和淘汰，从而与新获得的经验保持同步演进。在 TravelPlanner 和 ALFWorld 任务上的实证评估表明，随着记忆库不断完善，智能体在类似任务上的成功率和执行效率稳步提升。此外，研究还发现，从更强模型中构建的程序性记忆依然具有价值：将这种记忆迁移到较弱的模型中，也能带来显著的性能提升。

论文旨在解决大型语言模型（LLMs）代理在处理任务时程序记忆（procedural memory）脆弱的问题。现有的程序记忆通常依赖人工设计或静态参数，难以适应动态环境和长期学习的需求。这是一个较新的研究问题，尤其是在如何让LLMs代理具备可学习、可更新、可持续的程序记忆方面。

论文提出Memp框架，通过将代理的历史轨迹提炼为细粒度的步骤指令和高层次的脚本式抽象，构建可更新的程序记忆系统。其核心创新在于结合了记忆的构建、检索与更新策略，并通过动态机制持续优化记忆库，使代理能随着经验积累不断提升性能。

1. 提出了一个可学习、可更新、可持续的程序记忆系统Memp。 2. 在TravelPlanner和ALFWorld两个任务上进行了实验证明有效性。 3. 实验结果显示随着记忆库的优化，代理的成功率和效率稳步提升。 4. 程序记忆从强模型迁移到弱模型也能带来显著性能提升。 5. 论文强调了记忆的动态更新与淘汰机制，为未来研究提供了新方向。

1. LangChain: Generalizing Language Models through Chain-of-Thought Reasoning 2. Memory-Augmented Language Models: A Review of Architectures and Applications 3. Procedural Knowledge Learning in Large Language Models 4. Continual Learning with Transformers: Challenges and Opportunities 5. Instruction Tuning and Memory Integration in Language Agents