【标题】Priors, Hierarchy, and Information Asymmetry for Skill Transfer in Reinforcement Learning

【作者团队】Sasha Salter, Kristian Hartikainen, Walter Goodwin, Ingmar Posner

【发表日期】2022.1.20

【论文链接】https://arxiv.org/pdf/2201.08115.pdf

【推荐理由】从先前的经验中发现行为并将其转移到新任务的能力是智能智能体在现实世界中高效行动的标志。为具体强化学习者配备相同的能力可能对他们在机器人领域的成功部署至关重要。虽然分层和KL正则化RL在这里各自都有希望，但可以说混合方法可以结合它们各自的优点。这些领域的关键是利用信息不对称来偏见学习哪些技能。虽然不对称选择对可转移性有很大的影响，但先前的研究探索了狭窄的不对称范围，主要是由直觉驱动的。本文从理论上和经验上展示了由信息不对称控制的关键权衡，跨顺序任务的技能的表达性和可转移性之间的关系。故本文提供了选择不对称性的原则性方法，并将该方法应用于复杂的机器人块堆叠领域，该领域无法通过基线解决，证明了分层KL正则化RL，加上正确的不对称选择，对于样本高效转移学习的有效性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除