【标题】Data-Driven Inverse Reinforcement Learning Control for Linear Multiplayer Games

【作者团队】Bosen Lian , Vrushabh S Donge , Frank L Lewis , Tianyou Chai , Ali Davoudi

【发表日期】2022.7.4

【论文链接】https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9815022

【推荐理由】本文提出了一种数据驱动的逆强化学习（RL）控制算法，用于线性连续时间微分动力系统中的非零和多人游戏。游戏中学习者获得与专家相同的控制反馈增益和轨迹，仅使用沿系统轨迹的数据而不知道系统动力学。本文首先提出了一种基于模型的逆强化学习策略迭代框架，该框架具有：1）使用李雅普诺夫函数重构成本矩阵的策略评估步骤；2）使用逆最优控制（IOC）的状态奖励权重改进步骤；3) 使用最优控制的策略改进步骤。本文在基于模型的策略迭代算法的基础上，进一步开发了一种在线数据驱动的离线策略逆RL算法，无需任何系统动力学知识或专家控制增益。提供了算法的严格收敛和稳定性分析。它表明，离线策略逆 RL 算法保证了无偏解，同时添加了探测噪声以满足激励持续性 (PE) 条件。最后，两个不同的仿真例子验证了所提出算法的有效性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除