土耳其马尔马拉大学|使用基于局部的图论特征自主获取任意复杂的技能：一种分层强化学习的句法方法

【标题】Autonomous acquisition of arbitrarily complex skills using locality based graph theoretic features: a syntactic approach to hierarchical reinforcement learning

【作者团队】Zeynep Kumralbaş, Semiha Hazel Çavuş, Kutalmış Coşkun, Borahan Tümer

【发表日期】2023.1.4

【论文链接】https://link.springer.com/article/10.1007/s12530-022-09478-6?utm_source=xmol&utm_medium=affiliate&utm_content=meta&utm_campaign=DDCN_1_GL01_metadata

【推荐理由】随着状态/动作空间的增长，为常规强化学习 (RL) 算法（如平面 Q 学习）学习令人满意的策略很快变得不可行。处理此类情况的一种可能解决方案是采用分层 RL (HRL)。本文提出了两种方法来自主构建（1）技能（ASKA）和（2）通过在 HRL 中定义任意数量的层次结构（ASKAC ）任意设计超级技能或复合体基于图的迭代增长环境模型。本研究在检测子目标时采用动态社区检测 (DCD)，因为 DCD 仅考虑部分增长图上的局部变化，并降低了子目标检测的时间复杂度。DCD 的缺点是过度分割，它将子环境进一步错误划分为更小的组件。本文引入了技能耦合的概念.。技能耦合不仅有力地解决了过度分割问题，而且还通过构建在任意数量的层次结构中获得的更精细的复合体来改进 HRL，并减少导致采用这些复合体的目标的决策数量。