【标题】How to train your robot with deep reinforcement learning: lessons we have learned

【作者团队】Robotics at Google

【论文链接】https://journals.sagepub.com/doi/pdf/10.1177/0278364920987859

【发表时间】2021.1.31

【推荐理由】本文从机器人工程的角度介绍了RL在机器人训练运用中很多典型案例；也总结了很多潜在挑战，如：采样效率，多任务学习及元学习，初始化，稳定性等；很值得感兴趣的研究人员详细阅读。

深度强化学习（RL）已经成为一种很有前途的方法，可以从低级传感器观测中自主获取复杂行为。虽然很大一部分深度RL研究集中在视频游戏和模拟控制中的应用，这与真实环境中学习的约束条件并不相通，但深度RL在使物理机器人学习现实世界中的复杂技能方面也显示出了希望。同时，真实世界的机器人技术为评估这类算法提供了一个吸引人的领域，因为它直接与人类的学习方式相联系：作为现实世界中的一个实体代理。在现实世界中学习感知和移动带来了许多挑战，其中一些挑战比其他挑战更容易解决，而其中一些挑战在只关注模拟领域的RL研究中往往没有考虑。在这篇综述文章中，我们介绍了一些涉及机器人深度RL的案例研究。在这些案例研究的基础上，我们讨论了在深度RL中普遍认为的挑战，以及在这些工作中如何解决这些挑战。我们还概述了其他突出的挑战，其中许多挑战是现实世界机器人环境所特有的，通常不是主流RL研究的重点。我们的目标是为机器人学家和对进一步推动现实世界中深度RL进展感兴趣的机器学习研究人员提供资源。

内容中包含的图片若涉及版权问题，请及时与我们联系删除