【标题】Actionable Models: Unsupervised Offline Reinforcement Learning of Robotic Skills

【作者团队】Yevgen Chebotar, Karol Hausman, Yao Lu, Ted Xiao, Dmitry Kalashnikov, Jake Varley, Alex Irpan, Benjamin Eysenbach, Ryan Julian, Chelsea Finn, Sergey Levine

【论文链接】https://arxiv.org/pdf/2104.07749.pdf

【DEMO链接】

【发表时间】2021.4.15

【推荐理由】

本文提出了一种正则化方法和一种目标链技术，其通过离线、无模型的RL学习来学习以目标为条件的策略，以确保不会过高估计未知动作的Q值，并实现跨多个事件的目标。研究表明，通过微调预先训练的目标条件模型，或通过将训练过程中的目标作为辅助目标，可以更有效地学习下游RL任务。

 

本文考虑从先前收集的离线数据中学习有用的机器人技能的问题，而无需获得手动指定的奖励或额外的在线探索，这种设置对于通过重用过去的机器人数据来扩展机器人学习变得越来越重要。特别地，本文提出了通过学习达到给定数据集中的任何目标状态来学习对环境的功能性理解的目标。其采用目标条件Q-学习和事后重新标记，并开发了多种技术，使训练能够在特别具有挑战性的离线环境中进行。研究表明，该方法可以在高维相机图像上操作，并在真实机器人上学习各种技能，这些技能可以推广到以前看不到的场景和对象。此外，该方法可以学习跨多个事件达到长期目标，并通过预训练或辅助目标学习丰富的表示，以帮助完成下游任务。

内容中包含的图片若涉及版权问题，请及时与我们联系删除