Robix: A Unified Model for Robot Interaction, Reasoning and Planning

我们提出了Robix，这是一个统一的模型，将机器人推理、任务规划和自然语言交互整合到一个视觉-语言架构中。作为分层机器人系统中的高层认知模块，Robix能够动态生成供底层控制器使用的原子命令，以及供人机交互使用的自然语言回应，使机器人能够在端到端框架内遵循复杂指令、规划长期任务，并与人类进行自然交互。Robix还引入了多项新功能，例如主动对话、实时中断处理，以及在任务执行过程中的上下文感知常识推理。核心上，Robix利用了思维链推理，并采用了三阶段训练策略：（1）持续预训练，以增强基础的具身推理能力，包括三维空间理解、视觉指代理解和以任务为中心的推理；（2）监督微调，将人机交互与任务规划建模为统一的推理-动作序列；（3）强化学习，以提升推理与动作之间的一致性以及长期任务的连贯性。大量实验表明，Robix在交互式任务执行方面优于开源和商业基线模型（例如GPT-4o和Gemini 2.5 Pro），并在多种指令类型（如开放性、多阶段、受限性、无效性及被中断的指令）以及涉及用户的各类任务（如清理餐桌、购买杂货和饮食筛选）中展现出强大的泛化能力。

论文旨在解决机器人系统中高层认知能力与低层控制协同不足的问题，同时实现复杂的任务规划、自然语言交互和实时环境响应。这涉及让机器人能够理解并执行开放域的复杂指令，处理长时间跨度任务，并在执行过程中进行动态交互和调整。这是一个相对较新的问题，因为它强调了多模态、端到端推理与交互的统一建模。

论文提出Robix，一个统一的视觉-语言架构，整合了机器人推理、任务规划和自然语言交互。其核心思想是通过链式思维（chain-of-thought）推理机制，结合三阶段训练策略（继续预训练、监督微调、强化学习），构建一个能够动态生成动作指令和对话响应的高阶认知层。相比现有研究，Robix首次将任务规划与语言交互统一为一个序列化推理-动作建模问题，并引入了主动对话、实时中断处理和常识推理等新功能。

1. 提出统一的机器人高层认知模型Robix，支持复杂指令执行与自然语言交互 2. 设计三阶段训练策略：继续预训练提升基础具身推理能力、监督微调建模推理-动作序列、强化学习提升一致性与连贯性 3. 实验验证Robix在多种任务（如餐桌清理、购物、饮食过滤）中优于GPT-4o和Gemini 2.5 Pro等强基线模型 4. 支持多种复杂指令类型（开放型、多阶段、受限、无效、中断），展现良好泛化能力 5. 引入主动对话、实时中断处理、上下文感知常识推理等新能力

1. SayCan: Do As I Can, Not Just As I Say (Google Brain & Everyday Robots) 2. PaLM-E: An Embodied Multimodal Language Model for Robotics (Google Research) 3. RT-2: Vision-Language-Action Models for Robot Manipulation (Google Research) 4. Huang et al., 'Language-Driven Perpetual Learning for Robotics', NeurIPS 2023 5. Liu et al., 'Interactive Task Planning with Large Language Models', ICRA 2024