A Generative Approach to Control Complex Physical Systems

本文介绍了一种名为Diffusion Physical systems Control（DiffPhyCon）的新方法，用于解决物理系统控制问题。传统技术受限于适用性有限或计算成本巨大。然而，最近的深度学习和强化学习方法往往难以在系统动态约束下优化长期控制序列。DiffPhyCon的优势在于同时最小化整个轨迹和控制序列上的学习生成能量函数和预定义的控制目标，因此可以全局探索并确定近似最优的控制序列。此外，作者通过先验重加权增强了DiffPhyCon的性能，使其能够发现明显偏离训练分布的控制序列。作者在一维Burgers方程和液体环境下的二维水母运动控制中测试了该方法。结果表明，DiffPhyCon优于广泛应用的传统方法和最先进的深度学习和强化学习方法。值得注意的是，DiffPhyCon揭示了在水母中观察到的一个有趣的快速关闭-缓慢打开模式，与流体动力学领域的已有研究结果相一致。

论文旨在解决复杂物理系统的控制问题，传统方法应用受限或计算成本巨大，而深度学习和强化学习方法在系统动力学约束下优化长期控制序列方面存在困难。作者提出了DiffPhyCon方法，以解决这个问题。

DiffPhyCon方法通过同时最小化学习到的生成能量函数和预定义的控制目标，探索全局并识别接近最优的控制序列，同时增强DiffPhyCon方法，使其能够发现明显偏离训练分布的控制序列。

作者在1D Burgers'方程和2D水母运动控制实验中测试了DiffPhyCon方法，并发现该方法优于传统方法和现有的深度学习和强化学习方法。DiffPhyCon方法揭示了水母运动中的快速关闭-缓慢打开模式，与流体动力学领域的已有研究结果相符。

最近在这个领域中，还有一些相关的研究，例如《Deep Reinforcement Learning for Soft Multi-Agent Cooperation》和《Deep Reinforcement Learning for Autonomous Driving: A Survey》。