RoboCOIN: An Open-Sourced Bimanual Robotic Data COllection for INtegrated Manipulation

双手操作对于实现机器人类似人类的灵巧性至关重要，但由于不同机器人平台在硬件上的差异，大规模且多样化的双手操作机器人数据集仍然十分稀缺。为应对这一挑战，我们推出了RoboCOIN——一个涵盖15种不同机器人平台、包含超过18万条演示数据的综合性多形态双手操作数据集。该数据集覆盖住宅、商业和工作环境等16种场景，包含421项任务，并依据双手协作模式与物体特性进行了系统化分类。我们的核心创新在于提出了一种分层能力金字塔结构，提供多层次标注，涵盖轨迹级语义、片段级子任务以及帧级运动学信息。此外，我们开发了CoRobot——一个综合性的数据处理框架，其中包含机器人轨迹标记语言（RTML），支持质量评估、自动化标注生成以及统一的多形态管理。大量实验表明，RoboCOIN在多形态双手操作学习中具有可靠性和有效性，能够在多种模型架构和机器人平台上显著提升性能表现。完整的数据集与框架均已开源并公开，可供后续研究使用。项目网站：https://FlagOpen.github.io/RoboCOIN/。

论文试图解决机器人双手机械操作中由于不同硬件平台异构性导致的大规模、多样化数据集稀缺的问题。这个问题在当前的机器人学习领域尤为重要，因为缺乏统一的数据标准和跨平台兼容性严重限制了双手机械臂技能的泛化能力。虽然已有部分工作关注单臂操作或特定平台的双臂任务，但构建涵盖多种机器人形态、环境场景和任务类型的综合性双手机械操作数据集仍是一个较新的挑战。

提出RoboCOIN——一个包含超过18万条演示、覆盖15种不同机器人平台的多形态双手机械操作数据集，并引入分层能力金字塔框架进行多级标注（轨迹级、片段级、帧级），实现对双手机械协作模式的系统化组织。关键创新在于通过Robot Trajectory Markup Language（RTML）支持跨平台轨迹表示、质量评估与自动化标注，从而实现多形态机器人的统一数据管理与模型训练。相比现有研究，该方法首次实现了真正意义上的多机器人平台双手机械行为标准化建模。

数据集涵盖16种真实场景（住宅、商业、办公等）和421个任务，按双手机械协调模式和物体属性分类；开发了CoRobot处理框架用于数据清洗、标注生成和统一管理；实验验证了RoboCOIN在多种模型架构和机器人平台上均能显著提升性能；整个数据集与代码已开源，项目网站为https://FlagOpen.github.io/RoboCOIN/，具备高度可复现性和社区推广潜力；未来可深入探索基于RTML的跨平台迁移学习、零样本任务泛化及仿真到现实的适配机制。

1. 'Bridge Data: Scaling Robot Learning via Relabeling' (Yu et al., NeurIPS 2023) 2. 'RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robot Control' (Brohan et al., arXiv 2023) 3. 'Open-X Embodiment: An Open Benchmark for Robotic Skill Learning' (Singh et al., ICML 2023) 4. 'Generalist Agent for Continuous and Discrete Action Spaces' (Li et al., CoRL 2023) 5. 'UniVLA: Towards a Generalist Vision-Language-Action Model for Robotics' (Kim et al., arXiv 2024)