清华大学陈建宇教授团队 | 基于接触丰富机器人操作的接触安全强化学习框架

【标题】A Contact-Safe Reinforcement Learning Framework for Contact-Rich Robot Manipulation

【作者团队】Xiang Zhu, Shucheng Kang, Jianyu Chen

【发表日期】2022.7.27

【论文链接】https://arxiv.org/pdf/2207.13438.pdf

【推荐理由】强化学习在解决复杂的接触丰富的机器人操作任务方面显示出巨大的潜力。然而，在现实世界中使用RL的安全性是一个关键问题，因为当RL策略在训练期间或在不可见的场景中不完善时，可能会发生意外的危险碰撞。本文提出了接触安全的强化学习框架，用于接触丰富的机器人操作，该框架在任务空间和关节空间都保持了安全性。当RL策略导致机器人手臂和环境之间发生意外碰撞时，该框架能够立即检测到碰撞，并确保接触力较小。此外，末端执行器被强制执行以顺应地执行接触丰富的任务，同时保持对外部干扰的鲁棒性。最后在仿真中训练RL策略，并将其转移到真实的机器人上。机器人擦拭任务的真实实验表明，该方法能够在任务空间和关节空间中保持较小的接触力，即使策略处于意外碰撞的不可见场景下，同时拒绝主任务上的干扰。