RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots

最近人工智能（AI）的发展主要受到规模的推动。在机器人领域，规模的扩大受到了获取大规模机器人数据集的限制。我们主张使用逼真的物理模拟来扩展机器人学习方法的环境、任务和数据集。我们提出了RoboCasa，这是一个用于在日常环境中训练通用机器人的大规模模拟框架。RoboCasa提供了逼真和多样化的场景，重点放在厨房环境上。我们提供了超过150种物体类别的数千个3D资产和数十个可交互的家具和电器。我们使用生成式AI工具来丰富模拟的逼真度和多样性，如从文本到3D模型的物体资产和从文本到图像的环境纹理。我们设计了一组100个任务进行系统评估，包括通过大型语言模型引导生成的组合任务。为了促进学习，我们提供高质量的人类演示，并整合自动轨迹生成方法，以最小化人类负担大幅扩展我们的数据集。我们的实验表明，使用合成的机器人数据进行大规模模仿学习存在明显的规模扩展趋势，并表现出在现实世界任务中利用模拟数据的巨大潜力。视频和开源代码可在https://robocasa.ai/上获得。

该论文旨在通过使用现实物理仿真作为训练机器人学习方法的环境、任务和数据集的手段，解决机器人领域中缺乏大规模机器人数据集的问题。

论文提出了RoboCasa，一个大规模仿真框架，用于在日常环境中训练通用机器人。RoboCasa提供了数千个三维资产，覆盖了150多个物体类别和数十个可交互的家具和电器。

RoboCasa使用生成式AI工具，如文本到3D模型的对象资产和文本到图像模型的环境纹理，来丰富仿真的现实感和多样性。论文设计了一组100个任务进行系统评估，包括通过大型语言模型生成的复合任务。为了促进学习，论文提供了高质量的人类演示，并集成了自动轨迹生成方法，以最小的人力负担大大扩大了数据集。实验表明，使用合成机器人数据进行大规模模仿学习具有明显的扩展趋势，并且在利用仿真数据解决现实世界任务方面具有巨大的潜力。

最近在这个领域中，还有一些相关研究，如：1）AI2-THOR：一个具有物理约束和真实感的虚拟环境，用于机器人学习；2）Gibson环境：一个大规模、高质量的三维环境数据集，用于机器人学习和计算机视觉；3）SAPIEN：一个物理仿真平台，用于机器人学习和计算机视觉。