RH20T-P: A Primitive-Level Robotic Dataset Towards Composable Generalization Agents

机器人学习的最终目标是获得一种全面且可推广的机器人系统，能够在训练分布内执行已知技能并在新环境中执行未知技能。最近利用语言模型作为高级规划器的进展表明，通过将任务分解为基本级别的计划，可以减少任务的复杂性，从而使得在新的机器人任务上进行组合式推广成为可能。尽管前景看好，但由于缺乏基本级别的真实世界机器人数据集，社区尚未为组合式推广代理充分做好准备。在本文中，我们提出了一个基本级别的机器人数据集，名为RH20T-P，其中包含约33000个视频剪辑，涵盖44个多样且复杂的机器人任务。每个剪辑都根据一组精心设计的基本技能进行手动注释，为未来组合式推广代理的开发提供了便利。为了验证RH20T-P的有效性，我们还构建了一个基于RH20T-P的潜在且可扩展的代理，称为RA-P。RA-P配备了两个专门用于任务分解和运动规划的规划器，可以通过组合式推广适应新的物理技能。我们的网站和视频可以在https://sites.google.com/view/rh20t-primitive/main上找到。数据集和代码即将公开。

提出了一个新的原始级别机器人数据集RH20T-P，以帮助开发可组合的泛化代理。

通过将任务分解为原始级别计划，利用语言模型作为高级规划器，可以减少任务的复杂性，并在新环境下泛化。

RH20T-P数据集包含约33000个视频剪辑，涵盖44个不同且复杂的机器人任务，并进行了手动注释。使用RH20T-P构建了一个潜在的可扩展代理RA-P，可以通过可组合的泛化适应新的物理技能。

在最近的相关研究中，已经有一些尝试使用语言模型作为高级规划器来解决机器人任务的工作，例如Learning to Navigate Unseen Environments Using Semantically-Grounded Language Models和Language Models as Planning Models。