MIRIX: Multi-Agent Memory System for LLM-Based Agents

尽管人工智能代理的记忆能力正日益受到关注，但现有的解决方案仍存在根本性的局限。大多数方法依赖于扁平化、范围狭窄的记忆模块，限制了它们在个性化、抽象以及长期可靠回忆用户特定信息方面的能力。为此，我们提出了MIRIX——一个模块化、多代理的记忆系统，它通过解决该领域最关键的问题，重新定义了人工智能记忆的未来：让语言模型真正实现记忆功能。与以往的方法不同，MIRIX不仅限于文本，还涵盖了丰富的视觉和多模态体验，使记忆在现实世界场景中变得真正有用。 MIRIX由六种结构清晰、各具特色的记忆类型组成：核心记忆（Core）、情景记忆（Episodic）、语义记忆（Semantic）、程序记忆（Procedural）、资源记忆（Resource Memory）和知识库（Knowledge Vault）。这些记忆模块与一个多代理框架相结合，能够动态地控制并协调记忆的更新与检索过程。这种设计使代理能够在大规模数据环境下持续存储、推理并准确检索多样化的长期用户数据。 我们在两个高要求的场景下对MIRIX进行了验证。首先是在ScreenshotVQA上，这是一个具有挑战性的多模态基准测试，每组数据包含近20,000张高分辨率计算机截图，需要深入的上下文理解能力，而现有记忆系统无法在此类任务上应用。MIRIX在此项测试中的准确率比RAG基线高出35%，同时减少了99.9%的存储需求。其次是在LOCOMO这一长文本对话基准测试中，MIRIX在单模态文本输入的情况下取得了85.4%的最先进性能，远超现有基线水平。这些结果表明，MIRIX为增强记忆能力的大型语言模型代理树立了新的性能标准。 为了让用户亲身体验我们的记忆系统，我们开发了一款基于MIRIX的封装应用程序。该程序可实时监控屏幕内容，构建个性化的记忆数据库，并提供直观的可视化界面和安全的本地存储，以确保用户隐私。

论文试图解决AI代理在记忆能力方面的局限性，尤其是现有系统无法有效存储、抽象和回忆用户特定的长期信息的问题。这属于一个持续受到关注但尚未被充分解决的问题。

提出MIRIX——一种模块化、多智能体的记忆系统架构，包含六种结构化的记忆类型（核心、情节、语义、程序、资源记忆和知识库），并通过多智能体框架动态管理记忆的更新与检索。相比以往基于扁平文本的记忆组件，MIRIX引入了对视觉和多模态体验的支持，提升了记忆的实用性与可扩展性。

1. MIRIX在多模态任务ScreenshotVQA上比RAG基线模型准确率高出35%，同时减少99.9%的存储需求 2. 在长对话基准LOCOMO上达到85.4%的SOTA性能 3. 构建了一个基于MIRIX的应用程序，支持实时屏幕监控、个性化记忆构建、可视化界面和本地安全存储 4. 实验设计覆盖单模态与多模态场景，验证了系统的泛化能力和实际部署潜力

1. Neural Turing Machines (Graves et al., 2014) 2. Differentiable Neural Computers (Graves et al., 2016) 3. Memory Networks (Weston et al., 2015) 4. Retrieval-Augmented Generation (RAG) (Lewis et al., 2020) 5. Long Short-Term Memory (Hochreiter & Schmidhuber, 1997) 6. Transformers with Attention Mechanisms (Vaswani et al., 2017) 7. Recent works on multimodal memory systems in embodied AI and conversational agents