SimpleMem: Efficient Lifelong Memory for LLM Agents

为了在复杂环境中支持可靠且长期的交互，大语言模型智能体需要具备能够高效管理历史经验的记忆系统。现有的方法要么通过被动扩展上下文来保留完整的交互历史，导致大量冗余；要么依赖迭代推理来过滤噪声，从而带来高昂的令牌开销。为应对这一挑战，我们提出了SimpleMem——一种基于语义无损压缩的高效记忆框架。我们设计了一个包含三个阶段的处理流程，以最大化信息密度和令牌利用率：（1）语义结构化压缩，通过感知熵的过滤机制，将非结构化的交互内容提炼为紧凑的、多视角索引的记忆单元；（2）递归式记忆整合，通过异步过程将相关记忆单元合并为更高层次的抽象表示，以减少冗余；（3）自适应查询感知检索，根据查询的复杂程度动态调整检索范围，从而高效地构建精确的上下文。在多个基准数据集上的实验表明，我们的方法在准确性、检索效率和推理成本方面始终优于基线方法，平均F1分数提升了26.4%，同时将推理阶段的令牌消耗最多降低了30倍，展现出性能与效率之间的卓越平衡。代码地址为 https://github.com/aiming-lab/SimpleMem。

论文旨在解决大语言模型（LLM）代理在复杂环境中进行长期交互时面临的记忆管理效率低下问题。现有方法要么通过被动扩展上下文保留全部历史，导致信息冗余严重；要么依赖迭代推理过滤噪声，带来高昂的token开销。这是一个随着LLM代理在现实场景中应用加深而日益突出的实际问题，虽已有初步研究，但仍存在性能与成本之间的权衡挑战。

提出SimpleMem，一种基于语义无损压缩的高效记忆框架。其核心思路是三阶段流水线：1）语义结构化压缩，通过熵感知过滤将非结构化交互压缩为高密度、多视角索引的记忆单元；2）递归记忆整合，异步合并相关单元形成高层抽象以减少冗余；3）自适应查询感知检索，根据查询复杂度动态调整检索范围，提升上下文构建效率。相比现有方法，该方案首次系统性地将信息论原则引入记忆压缩，在保证语义完整性的前提下显著降低token消耗，实现了性能与效率的双重突破。

实验在多个基准数据集上验证了SimpleMem的有效性，相较基线方法平均F1提升26.4%，推理时token消耗最多降低30倍，展现出极强的检索效率与成本优势。实验设计覆盖不同复杂度任务，验证了方法的鲁棒性。作者已开源代码（https://github.com/aiming-lab/SimpleMem），极大促进后续研究与复现。值得深入的方向包括：将该压缩机制扩展至多模态记忆系统、探索在持续学习与自我进化代理中的应用。

1. 'MemGPT: Towards LLMs as Operating Systems' 提出分层内存管理类比操作系统，启发了LLM上下文调度新范式 2. 'RETRO: Learning Retrospective Model for Memory-Augmented Language Models' 引入外部记忆检索与块级生成机制 3. 'HippoRAG: Adaptive Retrieval Augmentation for Long-Term Memory in LLM Agents' 强调基于重要性排序的动态记忆更新策略 4. 'Thinker-Memory: A Hierarchical Memory Framework for Long-term Reasoning in AI Agents' 探索分层记忆结构支持长期推理 5. 'Efficient Transformers: A Survey' 为注意力机制优化提供了理论基础，间接支撑低开销记忆检索设计