Overcoming the Sim-to-Real Gap: Leveraging Simulation to Learn to Explore for Real-World RL

为了减轻现实世界强化学习中的样本复杂性，常见的做法是首先在模拟器中训练策略，因为在模拟器中获取样本的成本较低，然后将该策略部署到现实世界中，希望它能够有效地泛化。然而，这种直接的“从模拟到现实”的转移并不一定能成功，而且在失败的情况下，如何最好地利用模拟器也不清楚。在这项工作中，我们表明，在许多情况下，尽管直接的“从模拟到现实”转移可能失败，但我们可以利用模拟器学习一组探索性策略，这些策略能够在现实世界中实现高效的探索。特别是在低秩马尔可夫决策过程（MDP）的设置下，我们证明了将这些探索性策略与简单实用的方法——最小二乘回归 oracle 和朴素随机探索——结合起来，可以在现实世界中实现多项式级别的样本复杂性，这比直接的“从模拟到现实”转移或没有模拟器辅助的学习方法有指数级的改进。据我们所知，这是首次证明在直接“从模拟到现实”转移失败的情况下，模拟器转移可以为强化学习带来可证明的增益。我们在多个现实的机器人模拟器和一个实际的机器人“从模拟到现实”任务上验证了我们的理论结果，证明了转移探索性策略在实践中也能带来显著的收益。

论文尝试解决在现实世界强化学习中样本复杂度高的问题。具体而言，直接从模拟器到现实世界的策略转移（sim2real）可能失败，因此需要找到一种有效利用模拟器的方法来提高真实环境中的学习效率。

论文的关键思路是利用模拟器学习一组探索性策略，这些策略可以在真实环境中高效地进行探索。通过结合简单的最小二乘回归和随机探索方法，这种方法能够在低秩MDP设置下实现多项式级别的样本复杂度，而直接sim2real转移或无模拟器的学习则需要指数级的样本复杂度。这是首次证明模拟器转移在某些情况下可以显著提高学习效率。

论文通过理论分析和实验证明了探索性策略的有效性。实验部分在多个现实机器人模拟器和一个真实的机器人任务中进行了验证，展示了该方法在实际应用中的显著优势。此外，论文还提供了开源代码，便于其他研究者复现和进一步研究。

近期相关研究包括： 1. "Model-Based Reinforcement Learning via Latent-Space Collocation" - 提出了一种基于模型的强化学习方法，通过潜在空间近似来减少样本复杂度。 2. "Sim-to-Real Transfer for Robotic Manipulation via Domain Randomization and Dynamics Adaptation" - 研究了通过领域随机化和动力学适应来实现从模拟到现实的策略转移。 3. "Adversarial Domain Randomization for Sim-to-Real Transfer in Robotics" - 利用对抗领域随机化技术来提高sim2real转移的效果。