RoboCerebra: A Large-scale Benchmark for Long-horizon Robotic Manipulation Evaluation

近期视觉-语言模型（VLMs）的发展使得具备更强泛化能力的指令驱动型机器人系统成为可能。然而，大多数现有研究主要集中在反应式的系统1策略上，未能充分利用VLMs在语义推理和长时规划方面的优势。这些以深思熟虑、目标导向为特征的系统2能力，由于当前基准测试在时间尺度和结构复杂性上的限制，仍然未被充分探索。为填补这一空白，我们提出了RoboCerebra——一个用于评估长时机器人操作中高层次推理能力的基准测试平台。 RoboCerebra 包括以下三个核心组成部分：(1) 一个大规模模拟数据集，包含家庭环境中的扩展任务时长和多样化的子任务序列；(2) 一个分层框架，结合了高层的VLM规划器和低层的视觉-语言-动作（VLA）控制器；(3) 一种评估协议，通过系统1与系统2之间的结构化交互，针对规划、反思和记忆能力进行测试。 该数据集通过自顶向下的生成流程构建，其中GPT负责生成任务指令，并将其分解为子任务序列。人类操作员随后在模拟环境中执行这些子任务，生成高质量的动作轨迹，同时包含动态对象变化。与以往的基准测试相比，RoboCerebra具有显著更长的动作序列和更密集的注释。 此外，我们将最先进的VLMs作为系统2模块进行基准测试，并分析其在关键认知维度上的表现，推动更强大、更具泛化能力的机器人规划器的发展。

该论文试图解决当前机器人领域中长期规划和高层次语义推理能力不足的问题，特别是如何利用视觉-语言模型（VLMs）进行复杂任务的分解和执行。这是一个相对新颖的问题，因为大多数现有研究集中在短期反应性策略（System 1），而对需要深度思考和规划的任务（System 2）探索较少。

论文提出了一种结合高层次VLM规划器与低层次视觉-语言-动作（VLA）控制器的分层框架，并通过RoboCerebra这一新基准来评估机器人在长时序任务中的表现。相比现有工作，该方法充分利用了VLMs在语义理解和规划上的优势，同时引入了动态任务分解和执行机制，以支持更复杂的多步骤操作。

1. 提出了一个大规模模拟数据集，具有更长的动作序列和更密集的注释；2. 使用GPT生成任务指令并将其分解为子任务，增强了任务多样性和复杂性；3. 引入了一个新的评价协议，涵盖规划、反思和记忆等维度；4. 对比了多个最先进的VLMs作为系统2模块的表现；5. 数据集和部分代码已开源，便于后续研究者复现和改进。

最近的相关研究包括：1. 'Large Language Models Enable Zero-Shot Robot Control at Scale' - 探索了大语言模型在零样本机器人控制中的应用；2. 'Vision-Language Navigation in Continuous Environments' - 研究了视觉-语言导航问题；3. 'Leveraging Pretrained Models for Robotic Manipulation Tasks' - 讨论了预训练模型在机械臂操作中的潜力；4. 'Learning to Plan with Large Language Models' - 结合语言模型进行规划的研究。这些工作共同推动了机器人学与自然语言处理的交叉发展。