【标题】Hybrid Reinforcement Learning for Optimal Control of Non-Linear Switching System

【作者团队】Xiaofeng Li,Lu Dong,Lei Xue,Changyin Sun

【发表日期】2022.4.13

【论文链接】https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9756440

【推荐理由】基于强化学习机制，提出了一种基于数据的方案来解决离散时间非线性切换系统的最优控制问题。切换系统中，控制信号由活动模式（离散）和控制输入（连续）组成。本文首先推导了混合动作空间的Hamilton-Jacobi-Bellman方程，并提出了一种两阶段值迭代的方法来学习最优解。此外，通过将Q函数分解为价值函数和归一化优势价值函数，设计了一个神经网络结构，该函数对于子系统的连续控制是二次的。这样，Q函数和连续策略可以在每个迭代步骤同时更新，从而将混合策略的训练简化为一步的方式。此外，在考虑逼近误差的情况下，给出了该算法的收敛性分析。最后，通过三个不同的仿真实例对该算法进行了应用评估。

内容中包含的图片若涉及版权问题，请及时与我们联系删除