【标题】Hierarchical Imitation Learning with Vector Quantized Models

【作者团队】Kalle Kujanp¨a¨a, Joni Pajarinen, and Alexander Ilin

【发表日期】30 January, 2023

【论文链接】https://arxiv.org/pdf/2301.12962.pdf

【推荐理由】在多个抽象级别上计划操作的能力使智能代理能够有效地解决复杂任务。然而，从演示中学习低层次和高层次规划的模型已被证明具有挑战性，尤其是在高维度输入的情况下。为了解决这个问题，该文建议使用强化学习来识别专家轨迹中的子目标，方法是将奖励的大小与给定状态和所选子目标的低级别行动的可预测性相关联。文章为所识别的子目标建立了一个向量量化生成模型，以执行子目标级规划。在实验中，该算法在解决复杂的、长期的决策问题方面优于最先进的算法。由于其计划能力，算法可以找到比训练集中更好的轨迹.