Parametric PDE Control with Deep Reinforcement Learning and Differentiable L0-Sparse Polynomial Policies

在工程和科学的许多应用中，参数偏微分方程的最优控制是至关重要的。近年来，科学机器学习的进展为参数PDE的控制开辟了新的前沿。特别是，深度强化学习（DRL）有潜力解决各种应用中高维度和复杂的控制问题。大多数DRL方法依赖于深度神经网络（DNN）控制策略。然而，对于许多动态系统，基于DNN的控制策略往往过度参数化，这意味着它们需要大量的训练数据，表现出有限的鲁棒性，并且缺乏可解释性。在这项工作中，我们利用字典学习和可微L$_0$正则化来学习参数PDE的稀疏、鲁棒和可解释的控制策略。我们的稀疏策略架构对DRL方法是不可知的，可以在不改变其策略优化过程的情况下用于不同的策略梯度和演员-评论家DRL算法。我们在控制参数Kuramoto-Sivashinsky和对流扩散反应PDE的挑战性任务上测试了我们的方法。我们展示了我们的方法（1）优于基于基于DNN的DRL策略，（2）允许推导出学习到的最优控制规律的可解释方程，（3）可以推广到未见过的PDE参数，而无需重新训练策略。

本文旨在解决参数化偏微分方程（PDEs）的最优控制问题。当前深度强化学习（DRL）方法通常使用过度参数化的深度神经网络（DNN）控制策略，需要大量的训练数据，且缺乏鲁棒性和可解释性。因此，本文提出了一种基于字典学习和可微L0正则化的稀疏、鲁棒和可解释的控制策略。

本文提出的稀疏策略架构不依赖于具体的DRL方法，可以在不改变策略优化过程的情况下用于不同的策略梯度和演员-评论家DRL算法。本文的方法在控制参数化Kuramoto-Sivashinsky和对流扩散反应PDE时表现出色，优于基线的DNN-based DRL策略，并且可以推导出学习到的最优控制定律的可解释方程。

本文的实验设计了控制参数化Kuramoto-Sivashinsky和对流扩散反应PDE的任务，证明了所提出的方法的优越性。此外，本文提出的方法具有可解释性和泛化性，可以适用于未经训练的PDE参数。本文的代码已经开源。

最近的相关研究包括： 1. 'Deep Reinforcement Learning for Partial Differential Equation Control'， 2. 'Deep Reinforcement Learning for Continuum Control'， 3. 'Learning to Control PDEs with Differentiable Physics'等。