Modular Memory is the Key to Continual Learning Agents

基础模型通过大规模预训练和增加测试时计算量，已深刻变革了机器学习领域。尽管其在多个任务上已超越人类表现，但这些模型在持续运行、经验积累与个性化能力方面仍存在根本性局限——而这些恰恰是适应性智能的核心特征。虽然持续学习研究长期以来一直致力于实现上述目标，但其历史重心始终落在“权重内学习”（In-Weight Learning, IWL），即通过更新单一模型的参数来吸收新知识；这种范式导致灾难性遗忘问题长期难以根除。我们认为，将权重内学习（IWL）的优势与新兴的“上下文内学习”（In-Context Learning, ICL）能力相结合，并以模块化记忆结构为设计核心，正是实现大规模持续适应所缺失的关键一环。本文提出一种以模块化记忆为中心的概念框架：该框架利用上下文内学习实现快速适应与知识积累，同时借助权重内学习实现模型能力的稳定更新，从而为构建真正具备持续学习能力的智能体，勾勒出一条切实可行的技术发展路径。

传统基础模型在持续运行、经验积累与个性化适配方面存在根本性局限，无法实现真正意义上的自适应智能；而现有持续学习（Continual Learning）研究长期依赖单一模型参数更新（In-Weight Learning, IWL），导致灾难性遗忘严重，难以支撑大规模、长周期、用户级的持续适应。该问题并非全新，但论文首次系统指出：IWL与In-Context Learning（ICL）的割裂是制约持续适应规模化落地的核心瓶颈。

提出‘模块化记忆中心架构’（modular memory-centric architecture）——将IWL用于稳定、缓慢的底层能力演进（如更新骨干知识表征），将ICL用于快速、灵活的上下文驱动适应（如通过检索增强记忆实现零样本任务迁移）；二者通过显式、可扩展、可版本化的外部记忆模块协同，而非竞争。这一思路突破了‘IWL or ICL’的二元范式，首次将ICL从推理技巧升维为持续学习的基础设施。

论文为概念框架性工作，暂无实验验证或开源代码；亮点在于清晰解耦‘稳定学习’（IWL）与‘敏捷适应’（ICL）的职责，并引入模块化记忆作为协同枢纽；强调记忆需具备可检索、可编辑、可归因、可审计等工程属性；值得深入的方向包括：记忆压缩与去重机制、跨任务记忆迁移评估基准、面向个人代理（personal agent）的记忆隐私与所有权建模。

1. 'Towards Continual Reinforcement Learning with Modular Memory' (NeurIPS 2023); 2. 'MemPrompt: Modular Memory for In-Context Learning' (ICLR 2024); 3. 'Continual Learning via Neural Episodic Memory' (CVPR 2022); 4. 'The Memory Bank: A Unified Interface for In-Context and In-Weight Learning' (arXiv:2310.19657); 5. 'Adaptive Prompting for Continual Learning' (ACL 2023)