吉林大学|基于模型强化学习的混合动力工程车辆通用能源管理框架

【标题】A generalized energy management framework for hybrid construction vehicles via model-based reinforcement learning

【作者团队】Wei Zhang, Jixin Wang, Zhenyu Xu, Yuying Shen, Guangzong Gao

【发表日期】2022.8.2

【论文链接】https://www.sciencedirect.com/science/article/pii/S0360544222017522

【推荐理由】混合动力工程车辆 (HCV) 具有更具体的任务和高度重复的模式，更适合基于模型的能源管理。然而，工作周期之间的区别会导致对基于模型的能源管理进行推广的不利情景。本文通过使用基于模型的强化学习框架提出一种通用策略来解决这个问题。广义设计突出三个方面：长期稳定性，自学习能力，状态转换模型重用。为了避免操作周期之间的累积误差，提高学习的长期稳定性，提出了一个带有趋势项的奖励函数。此外，利用高斯过程回归来逼近价值函数，从而减少计算量，提高学习效率。为进一步增强环境模型的可重用性，提出了一种基于高斯混合模型的建模方法。最后，设计了一个包含离线和在线学习的广义HCV能量管理框架，其中采用预学习模型和近似函数进行重用和动态学习。仿真结果表明，此框架在稳定性、通用性和适应性方面优于传统的基于模型的方法，同时燃料消耗降低了 5.9%。