Globally Stable Neural Imitation Policies

模仿学习是缓解从头开始学习策略的资源密集型和耗时性质的有效方法。尽管所得到的策略可以可靠地模仿专家演示，但它在状态空间未探索的区域中常常缺乏可预测性，从而在面对干扰时引起重大的安全问题。为了解决这些挑战，我们引入了稳定神经动力系统（SNDS），这是一种模仿学习制度，可以产生具有正式稳定性保证的策略。我们部署了一种神经策略架构，促进了基于李雅普诺夫定理的稳定性表示，并联合训练策略及其相应的李雅普诺夫候选者，以确保全局稳定性。我们通过在模拟中进行大量实验，并成功地将训练出的策略部署在现实世界的机械臂上来验证我们的方法。实验结果表明，我们的方法克服了先前模仿学习方法所涉及的不稳定性、准确性和计算强度问题，使我们的方法成为复杂规划场景中稳定策略学习的有前途的解决方案。

本论文旨在解决模仿学习中由于状态空间未知而导致的不稳定性问题，提出了一种具有形式稳定性保证的模仿学习方法。

该论文提出了一种稳定的神经动力系统（SNDS）模型，通过联合训练策略和李雅普诺夫函数来实现全局稳定性的保证。

论文使用了神经策略架构来实现基于李雅普诺夫定理的稳定性表示，通过大量实验验证了该方法的有效性和稳定性，并成功将该方法应用于真实的机械臂控制中。该方法克服了以往模仿学习方法中存在的不稳定性、精度和计算强度问题，具有很高的应用价值。

近期的相关研究包括：'Safe Policy Learning with Real-world Robots'、'Learning from Demonstrations using Signal Temporal Logic'、'Data-efficient Hierarchical Reinforcement Learning'等。