- 简介协作机器人在多种任务和不同形态中的广泛应用带来了一个核心挑战:如何在多智能体系统中实现终身适应性、可扩展的协调以及鲁棒的调度。现有的方法,从视觉-语言-动作(VLA)模型到分层式框架,由于依赖有限或仅针对单个智能体的记忆机制,均存在明显不足。这从根本上限制了它们在长时间跨度上的学习能力、对异构团队的扩展能力以及从故障中恢复的能力,凸显出构建统一记忆表征的迫切需求。为解决这些局限,我们提出了RoboOS-NeXT——一种基于统一记忆的框架,旨在实现终身持续、可扩展且鲁棒的多机器人协作。RoboOS-NeXT的核心是新提出的时空-具身记忆(Spatio-Temporal-Embodiment Memory, STEM),该记忆机制将空间场景几何、时间事件历史和具身特征整合为一个共享的表征结构。这一以记忆为中心的设计被嵌入“大脑-小脑”式架构中:高层的“大脑”模型通过检索和更新STEM来完成全局规划,而底层控制器则在本地执行具体动作。这种认知、记忆与执行之间的闭环机制,实现了动态任务分配、容错协作以及状态的一致性同步。我们在餐厅、超市和家庭等复杂协作场景中进行了大量实验。结果表明,RoboOS-NeXT在不同具身形态下均表现出卓越性能,验证了其在实现终身学习、可扩展性和鲁棒性多机器人协作方面的有效性。项目网站:https://flagopen.github.io/RoboOS/
-
- 图表
- 解决问题论文试图解决多机器人系统中长期适应性、可扩展协作和鲁棒调度的挑战。现有方法(如视觉-语言-动作模型和分层框架)受限于个体代理的记忆局限,难以实现跨异构机器人的长时程学习、容错协作与状态同步。这是一个重要且日益紧迫的问题,尤其在服务机器人广泛应用的背景下,但尚未被充分解决。
- 关键思路提出RoboOS-NeXT,一种基于统一记忆的终身多机器人协作框架。其核心是新型的时空具身记忆(STEM),将空间几何、时间事件历史和机器人具身特征整合为共享表征,并嵌入‘脑-小脑’架构:高层‘脑’模型通过检索和更新STEM进行全局规划,底层控制器负责本地执行。这种记忆中心化闭环设计实现了动态任务分配与故障恢复,显著提升了系统的可扩展性与鲁棒性。
- 其它亮点实验涵盖餐厅、超市和家庭等复杂协作场景,验证了RoboOS-NeXT在异构机器人团队中的优越性能。该框架支持终身学习与状态一致性同步,展现出强健的容错能力。项目已开源,代码和数据可在https://flagopen.github.io/RoboOS/ 获取,便于社区复现与进一步研究。未来可探索STEM在更大规模群体、更复杂语义推理以及人机共融场景中的应用。
- 1. “PaLM-E: An Embodied Multimodal Language Model” (IEEE ICRA 2023) 2. “VoxPoser: Composable 3D Value Maps for Robotic Manipulation via Generative Models” (RSS 2023) 3. “RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robot Control” (arXiv 2023) 4. “MemNets: Memory-Augmented Networks for Multi-Agent Reinforcement Learning” (NeurIPS 2022) 5. “HAT: A Hierarchical Approach to Multi-Robot Coordination” (IEEE TRO 2023)
NEW
提问交流
提交问题,平台邀请作者,轻松获得权威解答~
向作者提问

提问交流