【标题】DEP-RL: Embodied Exploration for Reinforcement Learning in Overactuated and Musculoskeletal Systems

【作者团队】Pierre Schumacher, Daniel Häufle, Dieter Büchler, Syn Schmitt, Georg Martius

【发表日期】2022.5.30

【论文链接】https://arxiv.org/pdf/2206.00484.pdf

【推荐理由】肌肉驱动的生物体尽管肌肉数量庞大，但仍能够学习无与伦比的灵巧多样的运动。然而，大型肌肉骨骼模型上的强化学习（RL）尚未能够显示出类似的表现。本文推测，在大型过度驱动动作空间中的无效探索是一个关键问题。这得到了以下发现的支持：在过度驱动系统的合成示例中，常见的探索噪声策略是不够的。本文确定了差异外征可塑性（DEP），这是一种属于自组织领域的方法，因为能够在交互的几秒钟内引发状态空间覆盖探索。通过将 DEP 集成到 RL 中，本研究实现了快速学习肌肉骨骼系统中的伸展和运动，在样品效率和稳定性方面在所有考虑的任务中优于当前方法。

内容中包含的图片若涉及版权问题，请及时与我们联系删除