GRUtopia: Dream General Robots in a City at Scale

最近的研究一直在探索具有体现智能的AI领域中的规模定律。考虑到收集真实世界数据的成本过高，我们认为模拟到真实（Sim2Real）范式是扩展体现模型学习的关键一步。本文介绍了GRUtopia项目，这是第一个为各种机器人设计的模拟交互式3D社会。它具有几项进展：（a）场景数据集GRScenes包括10万个交互式、精细注释的场景，可以自由组合成城市规模的环境。与以前主要集中在家庭的作品不同，GRScenes涵盖了89个不同的场景类别，弥合了服务导向环境的差距，这是一开始部署通用机器人的地方。（b）GRResidents是一个大型语言模型驱动的非玩家角色（NPC）系统，负责社交互动、任务生成和任务分配，从而为体现AI应用程序模拟社交场景。（c）基准测试GRBench支持各种机器人，但重点是四肢机器人作为主要代理人，并提出了涉及物体定位导航、社交定位导航和定位操作的适度具有挑战性的任务。我们希望这项工作可以缓解该领域高质量数据的稀缺性，并提供更全面的体现AI研究评估。该项目可在https://github.com/OpenRobotLab/GRUtopia上获取。

本文旨在探究基于身体的人工智能的规模化问题，通过Simulation-to-Real（Sim2Real）范式来解决数据采集成本高昂的问题。同时，提出了GRUtopia项目，旨在为各种机器人设计第一个模拟的交互式3D社会。

该项目的关键思路是提供了一个包含100k个交互式场景的数据集GRScenes，以及一个基于大型语言模型的NPC系统GRResidents，用于模拟社交场景，并提供了一个基准测试GRBench，支持各种机器人完成涉及物体位置导航、社交位置导航和位置操作的任务。

本文的亮点包括：（1）提供了一个包含100k个场景的数据集GRScenes，涵盖了89个不同的场景类别；（2）提出了一个基于大型语言模型的NPC系统GRResidents，用于模拟社交场景；（3）提供了一个基准测试GRBench，支持各种机器人完成涉及物体位置导航、社交位置导航和位置操作的任务。同时，该项目已经开源。

近期在该领域的相关研究包括：（1）《EmbodiedAI: Challenges and Opportunities》；（2）《Learning to Simulate Complex Physics with Graph Networks》；（3）《Sim-to-Real Transfer of Robotic Control with Dynamics Randomization》等。