【标题】Hierarchical reinforcement learning based energy management strategy of plug-in hybrid electric vehicle for ecological car-following process

【作者团队】Hailong Zhang, Jiankun Peng, Hanxuan Dong, Huachun Tan, Fan Ding

【发表日期】2023.1.4

【论文链接】https://www.sciencedirect.com/science/article/pii/S0306261922018566

【推荐理由】以经济为导向的自动混合动力汽车 (HEV) 通过优化驾驶行为和配电提供了巨大的节能潜力。HEV 发布后生态汽车的最新进展集中于通过协同优化融合自适应巡航控制 (ACC) 和能源管理系统 (EMS)。然而，ACC+EMS串联控制框架打破了运动控制与能量分配之间的内在耦合关系，导致其优化存在天然局限性。相反，集成的ACC-EMS有望提高节能效果，但带来了具有多尺度目标和大探索空间的复杂优化问题。巨大的计算负荷制约了ACC-EMS的在线应用。为了解决这些问题，本文提出了一种基于分层强化学习的 ACC-EMS 策略，该策略具有分层策略和非分层执行。上层学习规划充电状态和车头时距轨迹，而低层策略学习通过输出宿主车辆执行的控制变量来实现预期目标。仿真表明，与离线全局最优相比，所提出的策略显著提高了训练速度和稳定性。