Policy composition in reinforcement learning via multi-objective policy optimization

解决问题：本文旨在解决强化学习中的策略组合问题，即如何利用现有的优秀策略来帮助智能体更快地学习成功的行为策略。作者通过提出一种多目标策略优化的方法，将现有的优秀策略作为目标引入到学习过程中，以加速学习。

关键思路：本文的关键思路是利用多目标策略优化算法，将现有的优秀策略作为目标引入到学习过程中，以加速学习。相比于当前领域的研究，本文的思路在于将现有的优秀策略作为目标引入到学习过程中，以加速学习，而不是简单地将其作为参考。

其他亮点：本文的实验设计合理，使用了两个具有连续观测和动作空间的领域进行实验，并通过视频展示了组合后的任务策略与相应的优秀策略的相似之处。此外，本文还探讨了教师策略对智能体最终表现的影响，并研究了超参数对学习速度和任务表现的影响。本文的工作值得进一步深入研究。

相关研究：近期其他相关的研究包括：

  • "Learning to Compose Skills with Reinforcement Learning using a Commodity Game Engine"，作者：Yijun Zhou，机构：Carnegie Mellon University；
  • "Multi-Objective Reinforcement Learning: A Comprehensive Overview"，作者：Siddharth Swaroop，机构：Indian Institute of Technology；
  • "Learning to Learn Composed Tasks with Deep Reinforcement Learning"，作者：Dong Yan，机构：University of Alberta。

论文摘要：本文介绍了一种通过多目标策略优化来利用相关的预先存在的教师策略使强化学习智能体学习成功行为策略的方法。在多目标策略优化框架下，将教师策略作为目标之一引入，除了任务目标外。通过使用多目标最大后验策略优化算法，研究人员表明，在缺乏形状奖励的情况下，教师策略可以帮助加速学习。在两个具有连续观测和动作空间的领域中，他们的智能体成功地按顺序和并行地组合了教师策略，并且还能够进一步扩展教师的策略以解决任务。具体取决于任务和教师的指定组合，教师可能自然地限制智能体的最终表现。智能体需要遵守教师策略的程度由超参数决定，这些超参数确定教师对学习速度和智能体在任务上的最终性能的影响。在 humanoid 领域中，研究人员还赋予了智能体控制教师选择的能力。通过这种能力，智能体能够有意义地从教师策略中组合，以在 walk 任务上获得比没有访问教师策略的情况下更好的任务奖励。研究人员通过视频展示了组合任务策略与相应教师策略的相似之处。

内容中包含的图片若涉及版权问题，请及时与我们联系删除