Sim-to-Real gap in RL: Use Case with TIAGo and Isaac Sim/Gym

本文探讨了在使用TIAGo移动机械臂进行机器人操作的sim-to-real转移情境下的政策学习方法，重点关注Nvidia开发的两个最先进的模拟器Isaac Gym和Isaac Sim。讨论了控制架构，特别强调在模拟和实际环境中实现无碰撞运动。呈现的结果展示了成功的sim-to-real转移，展示了在RL训练模型中执行类似动作的模拟和实际设置中的相似运动。

本论文旨在探讨在机器人操作中，以TIAGo移动机械臂为例，基于Isaac Gym和Isaac Sim两种最新的模拟器的政策学习方法在模拟环境与真实环境之间的转移问题，尤其是如何实现在模拟和真实环境中的无碰撞运动。

论文提出了一种基于政策学习的方法，可以在模拟环境中训练机器人，然后将其成功地转移到真实环境中。同时，论文还提供了一种新的控制架构，以实现无碰撞运动。

论文展示了成功的模拟到真实转移结果，证明了RL训练模型在模拟和真实环境中执行相似的运动。实验结果表明，Isaac Gym和Isaac Sim两种模拟器都是可行的，且在无碰撞运动方面表现良好。此外，论文还提供了开源代码，可以帮助其他研究人员进一步探索这个领域。

最近的相关研究包括：“Learning to Sim-to-Real Transfer for Robotic Manipulation Tasks with Synthetic Data”和“Sim-to-Real Transfer with Domain Randomization for Robotic Grasping using Deep Reinforcement Learning”。