Learning rigid-body simulators over implicit shapes for large-scale scenes and vision

模拟许多刚体物体的大型场景对于各种应用非常关键，例如机器人技术、工程、电影和视频游戏。刚性相互作用很难建模：初始状态或模拟参数的微小变化可能会导致最终状态的巨大变化。最近，基于图形网络（GNN）的学习模拟器被开发作为手工设计的模拟器（如MuJoCo和PyBullet）的替代品。它们能够准确地从现实世界的观察中直接捕捉到真实物体的动态。然而，目前最先进的学习模拟器操作网格，对于许多物体或详细形状的场景缩放性能不佳。在这里，我们介绍了SDF-Sim，第一个专为规模而设计的学习刚体模拟器。我们使用学习的有符号距离函数（SDF）来表示物体形状并加速距离计算。我们设计了模拟器以利用SDF并避免与碰撞检测相关的基本瓶颈。在文献中首次展示了我们可以将基于GNN的模拟器扩展到具有数百个物体和多达110万个节点的场景，其中基于网格的方法会耗尽内存。最后，我们展示了SDF-Sim可以通过从多视图图像中提取SDF来应用于现实世界场景。

论文旨在解决刚体物体的大规模场景模拟问题，当前学习型模拟器在处理大量物体时存在不足，而基于网格的方法在内存方面也存在局限性。

论文提出了一种基于学习的刚体模拟器SDF-Sim，使用学习的有符号距离函数（SDFs）来表示物体形状，并避免了碰撞检测的瓶颈，使得GNN模拟器能够处理数百个物体和多达110万个节点的场景。

论文的实验结果表明，SDF-Sim可以从多视角图像中提取SDF并应用于真实场景。此外，论文还提供了开源代码和数据集。

最近的相关研究包括基于网格的刚体模拟器，如MuJoCo和PyBullet，以及基于学习的模拟器，如GNN模拟器。