DrEureka: Language Model Guided Sim-To-Real Transfer

将在模拟中学习的策略转移到现实世界是一种有前途的策略，可以大规模获取机器人技能。然而，模拟到现实的方法通常依赖于任务奖励函数和模拟物理参数的手动设计和调整，使得这个过程缓慢且需要大量人力。在本文中，我们研究使用大型语言模型（LLMs）来自动化和加速模拟到现实的设计。我们的LLM指导的模拟到现实方法，DrEureka，只需要目标任务的物理模拟，并自动构建适当的奖励函数和领域随机分布以支持现实世界的转移。我们首先展示了我们的方法可以发现与现有人工设计的方法相竞争的四足 locomotion 和灵巧操纵任务的模拟到现实配置。然后，我们展示了我们的方法能够解决新的机器人任务，例如四足平衡和在瑜伽球上行走，而无需迭代手动设计。

自动化和加速sim-to-real设计是本文试图解决的问题。当前的sim-to-real方法通常需要手动设计和调整任务奖励函数以及模拟物理参数，这使得过程缓慢且需要大量人工劳动。

本文提出了一种使用大型语言模型（LLMs）自动化和加速sim-to-real设计的方法，名为DrEureka。该方法只需要目标任务的物理模拟，并自动构建适当的奖励函数和领域随机化分布以支持现实世界的转移。

本文展示了该方法可以发现与现有人类设计的方法相竞争的sim-to-real配置，包括四足动物运动和灵巧操纵任务。此外，该方法还可以解决新的机器人任务，例如四足平衡和在瑜伽球上行走，而无需迭代手动设计。

最近在这个领域的相关研究包括：《Sim-to-Real Transfer of Robotic Control with Dynamics Randomization》、《Learning Dexterous In-Hand Manipulation》、《Learning to Simulate》等。