SimFoundry: Modular and Automated Scene Generation for Policy Learning and Evaluation

在真实世界中训练和评估机器人策略成本高昂，且难以规模化。我们提出 SimFoundry——一种模块化、全自动的系统，能够仅凭一段视频实现“零样本”的真实场景到仿真场景构建。SimFoundry 可生成即用型仿真数字孪生体，并支持对物体、场景及任务进行灵活编辑，从而实现多样化“数字近亲”（digital cousins）的自动化生成；这些“数字近亲”是原始真实场景在保持功能可供性（affordance）前提下的各类变体。基于 SimFoundry 数据训练所得的策略，可零样本迁移至一系列极具挑战性的现实任务中，涵盖多步骤操作、铰接式物体交互以及双手协同操作等复杂场景；而其生成的“数字近亲”（即原始场景、物体与任务的各类变体）则进一步助力策略泛化至全新的真实世界环境。在涵盖 7 类操作任务与 5 种策略架构的广泛实验中，SimFoundry 的仿真评估结果与真实世界性能高度一致：平均皮尔逊相关系数达 0.911，平均最大排序偏差仅为 0.018。当将纯仿真环境中训练的策略直接零样本部署于真实世界时，若训练阶段分别引入物体级、场景级和任务级的“数字近亲”，其任务成功率相较基线分别平均提升 17%、21% 和 40%。更多技术细节请参见：https://research.nvidia.com/labs/gear/simfoundry/。

真实世界中机器人策略的训练与评估成本高昂且难以规模化，而现有仿真到现实（sim-to-real）迁移方法往往依赖大量真实数据或手动建模，缺乏从单段视频自动构建高保真、可编辑、任务就绪仿真环境的能力。本文验证的核心假设是：仅凭一段普通RGB视频，即可零样本构建具备物理合理性和任务相关性的‘数字孪生’及语义一致的‘数字表亲’（digital cousins），并支撑策略在复杂真实操作任务（如多步操作、铰接物体交互、双手协同）上实现零样本泛化。该问题在自动化场景重建与仿真生成交叉领域具有新颖性——此前尚无系统能端到端实现视频→可编辑仿真→任务增强→零样本实机部署的闭环。

提出SimFoundry——一个模块化、全自动的零样本‘真实→仿真’场景构建系统：1）通过多视角几何、神经辐射场（NeRF）与物理感知网格优化，从单视角视频重建带材质、碰撞体和运动学约束的sim-ready数字孪生；2）引入‘数字表亲’（digital cousins）概念，支持对象级（如替换餐具材质/尺寸）、场景级（如光照/重力/布局扰动）和任务级（如目标位置/顺序/约束变更）的语义保持型编辑；3）所有编辑均保障功能仿射性（affordance-preserving），确保仿真中学习的策略可零样本迁移到真实世界对应变化场景。其新意在于将传统需人工介入的仿真建模流程完全自动化，并首次将‘可控多样性生成’嵌入仿真构建底层，而非仅作为数据增强后处理。

• 实验覆盖7个具挑战性的真实机器人操作任务（含冰箱开门、抽屉拉取、双臂端盘等）与5类主流策略架构（BC、ILQL、RPL、Diffusion Policy、VQ-VAE RL）；• 采用NVIDIA Isaac Sim与Real2Sim硬件平台进行严格零样本实机评测，无需任何真实微调；• 在7任务×5架构共35个配置中，仿真性能与真实性能的平均Pearson相关系数达0.911，最大排序错误率仅1.8%，证明仿真评估具备强预测性；• 开源了SimFoundry核心管线（https://github.com/NVIDIA/SimFoundry）及基准任务套件；• 值得深入的方向包括：扩展至动态场景（如移动行人）、跨域数字表亲生成（如从厨房迁移到实验室）、以及将‘affordance preservation’形式化为可优化的几何-物理联合损失。

• 'NeRF in the Wild' (CVPR 2023) —— 提出野外视频NeRF重建，但未考虑物理仿真就绪性；• 'DexYCB: A Benchmark for Dexterous Manipulation' (CoRL 2022) —— 提供真实手部操作数据集，但依赖传感器密集采集；• 'Sim2Real via Domain Randomization and Task-Aware Augmentation' (ICRA 2021) —— 使用随机化增强仿真多样性，但缺乏对真实场景结构的保真重建；• 'SceneGen: Learning to Generate 3D Scenes from Single Images' (ECCV 2022) —— 单图生成3D场景，但输出不可直接用于物理仿真；• 'Affordance-Guided Imitation Learning' (RSS 2023) —— 强调功能仿射建模，但未与自动仿真构建耦合。