【标题】Intelligent Electric Vehicle Charging Recommendation Based on Multi-Agent Reinforcement Learning

【作者团队】Weijia Zhang, Hao Liu, Fan Wang, Tong Xu, Haoran Xin, Dejing Dou, Hui Xiong

【研究团队】中科大 & 百度BIL & 罗格斯大学

【论文链接】https://arxiv.org/pdf/2102.07359.pdf

【发表时间】2021.2.15

【推荐理由】

本文以同时最小化整体CWT、平均CP和CFR为长期目标，研究了智能电动汽车的充电推荐任务。并将此问题表述为多目标MARL任务，提出了时空MARL框架Master。即将每个充电站看作一个单独的agent，提出了一个具有集中注意力的多agent actor-critic框架，来激励agent学习协调合作的策略。此外，为了提高推荐的有效性，提出了一种延迟访问策略，以在模型训练过程中整合未来的充电竞争信息。在两个真实数据集上的大量实验证明了Master相比于9个基准的有效性。 

电动汽车（EV）由于其环境和能源可持续性，已成为现代交通系统中的首选。然而，在许多大城市中，由于充电基础设施有限，充电需求时空不平衡，电动汽车驾驶员常常找不到合适的充电地点。事实上，最近出现的深度强化学习从各个方面提供了很大的潜力，以改善充电体验。本文提出了一个多智能体时空强化学习（Master）框架，通过综合考虑各种长期的时空因素，以智能地推荐公共无障碍充电站。具体而言，通过将每个充电站看作一个单独的agent，本文将该问题描述为一个多目标多agent强化学习任务。其首先开发了一个多agent的actor-critic框架，该框架使用集中式的注意力评论家来协调地理分布agent之间的推荐。此外，为了量化未来潜在充电竞争的影响，本文在训练中引入了一种延迟接入策略来利用未来充电竞争的知识。然后，为了有效地优化多个学习目标，本文将集中注意力的批评者扩展到多评论者，并提出了一种动态梯度重加权策略来自适应地指导优化方向。最后，在两个真实世界的数据集上进行的大量实验表明，与九种基准方法相比，Master可获得最佳的综合性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除