SINDy-RL: Interpretable and Efficient Model-Based Reinforcement Learning

深度强化学习（DRL）已经显示出在与复杂动态环境交互的复杂控制策略方面具有重要的潜力，例如稳定托卡马克聚变反应堆的磁流体力学或者减少流体中物体所受的阻力。然而，这些算法需要大量的训练样本，可能在许多应用中变得过于昂贵。此外，依赖于深度神经网络通常会导致不可解释的黑匣子策略，可能在某些嵌入式系统中使用时计算成本过高。最近在稀疏字典学习方面的进展，例如非线性动力学的稀疏识别（SINDy），已经显示出在低数据情况下创建高效且可解释的数据驱动模型的潜力。在这项工作中，我们介绍了SINDy-RL，这是一个统一的框架，用于将SINDy和DRL结合起来，创建高效、可解释和可信的动态模型、奖励函数和控制策略的表示。我们在基准控制环境和具有挑战性的流体问题上展示了我们方法的有效性。SINDy-RL在与环境的交互中使用的交互次数明显较少的情况下实现了与最先进的DRL算法相当的性能，并且得到的可解释的控制策略的规模比深度神经网络策略小几个数量级。

结合稀疏字典学习和深度强化学习以创建高效、可解释和可信赖的控制策略

将SINDy和DRL相结合，利用SINDy创建数据驱动的模型，从而实现高效、可解释和可信赖的控制策略

SINDy-RL在基准控制环境和复杂流体问题中展现了与最先进的DRL算法相当的性能，但使用的交互步骤数量明显更少，并且得到的可解释控制策略比深度神经网络策略小几个数量级。

最近的相关研究包括：《Deep Reinforcement Learning with Double Q-learning》、《Asynchronous Methods for Deep Reinforcement Learning》、《Playing Atari with Deep Reinforcement Learning》等。