Actor-Critic Physics-informed Neural Lyapunov Control

在非线性控制中，设计具有可证明保证的稳定任务的控制策略是一个长期存在的问题。一个关键的性能指标是所得到的吸引域的大小，它本质上作为闭环系统对不确定性的鲁棒性“边际”。在本文中，我们提出了一种新方法来训练一个稳定的神经网络控制器以及其相应的Lyapunov证明，旨在最大化所得到的吸引域，同时遵守执行约束。我们方法的关键在于使用Zubov的偏微分方程（PDE），它精确地描述了给定控制策略的真实吸引域。我们的框架遵循演员-评论家模式，其中我们交替改进控制策略（演员）和学习Zubov函数（评论家）。最后，在训练过程之后，我们通过调用SMT求解器计算最大可证明吸引域。我们在几个设计问题上进行了数值实验，结果表明所得到的吸引域的大小得到了一致且显著的改善。

提高神经网络控制器的稳定性，扩大其适用范围，使其具有可证明的保障。

使用 Zubov 偏微分方程精确描述控制策略的吸引域，通过交替训练 actor 和 critic 神经网络，优化控制策略和 Zubov 函数，最终通过 SMT 求解器计算出最大的可证明吸引域。

论文提出了一种新的方法来训练神经网络控制器，并提供了可证明的保障。实验结果表明，该方法在多个设计问题中都能显著提高吸引域的大小。

在近期的相关研究中，也有一些使用神经网络进行控制的方法，如基于强化学习的方法，或者使用深度学习来预测系统的动态行为。