Neuro-Symbolic Imitation Learning: Discovering Symbolic Abstractions for Skill Learning

模仿学习是一种广受欢迎的机器人新行为教学方法。然而，大多数现有方法专注于教授短小且孤立的技能，而非 lengthy、多步骤的任务。为弥合这一差距，模仿学习算法不仅要学习单独的技能，还要形成对如何将这些技能序列化以有效执行长任务的抽象理解。本文通过提出一种神经-符号模仿学习框架来应对这一挑战。利用任务演示数据，系统首先学习一种符号表示，该表示能够抽象出低层次的状态-动作空间。所学到的表示将任务分解为更简单的子任务，并使系统能够借助符号规划生成抽象计划。随后，系统利用这种任务分解机制，学习一组神经技能，以将抽象计划细化为可执行的机器人指令。在三个模拟机器人环境中的实验结果表明，与基线方法相比，我们的神经-符号方法提高了数据效率，增强了泛化能力，并促进了模型的可解释性。

论文试图解决机器人学习中长期存在的一个问题，即如何让机器人通过模仿学习掌握复杂的、多步骤的任务，而不仅仅是短小的、孤立的技能。这是一个已知问题，但目前大多数方法在处理长序列任务时表现不佳。

论文提出了一种神经-符号（neuro-symbolic）模仿学习框架，结合了符号表示学习和神经网络技能学习。首先，系统从任务演示中提取出一个高层次的符号表示，用于将复杂任务分解为更简单的子任务，并利用符号规划生成抽象计划；然后，通过神经网络学习具体的技能以将这些抽象计划转化为实际的机器人动作。相比现有方法，这种框架能够更好地应对多步骤任务的学习需求。

实验在三个模拟机器人环境中进行，结果表明该方法在数据效率、泛化能力和可解释性方面均优于基线方法。此外，该方法通过显式的任务分解提高了对复杂任务的理解能力，从而增强了模型的鲁棒性。虽然论文未提及代码是否开源，但其提出的框架为未来研究提供了明确的方向，例如探索更多类型的符号表示或改进神经技能的学习方法。

近年来，与复杂任务模仿学习相关的研究包括：1)《Hierarchical Imitation and Reinforcement Learning》探讨了分层策略在模仿学习中的应用；2)《Planning with Learned Symbolic Representations in Continuous Environments》研究了连续环境下的符号规划；3)《Neural Task Programming: Learning to Generalize Across Hierarchical Tasks》提出了神经任务编程方法，用于跨层次任务的泛化学习。这些工作都围绕提升机器人在复杂任务中的学习能力展开，但本论文的独特之处在于将符号规划与神经技能学习紧密结合。