Latent Collaboration in Multi-Agent Systems

多智能体系统（MAS）将大语言模型（LLM）从独立的单模型推理扩展为协同的系统级智能。现有的LLM智能体主要依赖基于文本的中介方式进行推理与通信，而我们更进一步，使模型能够在连续的潜在空间中直接协作。我们提出了LatentMAS，这是一种端到端无需训练的框架，支持LLM智能体之间纯粹在潜在空间中的协作。在LatentMAS中，每个智能体首先通过最后一层的隐藏嵌入进行自回归式的潜在思维生成；随后，一个共享的潜在工作记忆模块保存并传递各智能体的内部表征，从而确保无损的信息交换。我们提供了理论分析，证明与传统的基于文本的MAS相比，LatentMAS具有更强的表达能力、无损信息保留能力，且复杂度显著更低。此外，在涵盖数学与科学推理、常识理解以及代码生成等9项综合性基准任务上的实验评估表明，LatentMAS持续优于强大的单模型和基于文本的多智能体系统基线方法，最高可提升14.6%的准确率，输出token使用量减少70.8%至83.7%，端到端推理速度提高4至4.3倍。这些结果表明，我们提出的新型潜在空间协作框架在不增加任何训练成本的前提下，显著提升了系统级推理质量，并带来了巨大的效率优势。代码与数据已全部开源，地址为：https://github.com/Gen-Verse/LatentMAS。

论文试图解决传统基于文本的多智能体系统（Multi-agent Systems, MAS）在使用大语言模型（LLMs）时存在的信息损失、表达能力受限和通信效率低下的问题。当前的LLM智能体依赖于生成自然语言进行推理与协作，这一过程不仅耗时耗资源，还因离散文本表示而造成语义损失。该问题虽已有部分研究关注通信效率与协作机制，但直接在连续潜在空间中实现无需训练的纯隐式协作仍是一个较新的探索方向。

提出LatentMAS，一种无需训练、端到端的多智能体协作框架，其核心思想是让LLM智能体在连续的潜在空间中直接进行协作，而非通过文本中介。每个智能体通过最后一层隐藏状态自回归地生成‘潜在思维’，并通过一个共享的潜在工作记忆模块交换内部表征，从而实现无损、高效的信息传递。相比现有基于文本通信的方法，LatentMAS避免了离散化带来的语义损失，并显著降低了通信开销，提升了表达能力和系统整体效率。

实验设计覆盖9个涵盖数学与科学推理、常识理解及代码生成的综合基准，结果表明LatentMAS在准确率上最高提升14.6%，输出token减少70.8%-83.7%，端到端推理速度快4x-4.3x。所有代码与数据已完全开源（https://github.com/Gen-Verse/LatentMAS），具备高度可复现性。值得注意的是，该方法完全无需微调或额外训练，仅利用预训练模型的隐藏空间即可实现协作，为未来研究提供了新范式——即从‘语言级交互’转向‘思维级协作’，值得进一步探索其在更复杂任务中的泛化能力与理论边界。

1. 'Generative Agents: Interactive Simulation of Human Behavior' (Park et al., 2023) 2. 'ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate' (Wang et al., 2023) 3. 'Tree of Thoughts: Deliberate Problem Solving with Large Language Models' (Yao et al., 2023) 4. 'AgentBoard: Evaluating LLM-based Agents with Benchmark Transparency' (Zheng et al., 2024) 5. 'Collaborative Reasoning via Multi-Agent Debate Improves Truthfulness and Factual Consistency' (Shi et al., 2023)