【标题】A Decentralised Multi-Agent Reinforcement Learning Approach for the Same-Day Delivery Problem

【作者团队】Elvin Ngu, Leandro Parada, Jose Javier Escribano Macias, Panagiotis Angeloudis

【发表日期】2022.3.22

【论文链接】https://arxiv.org/ftp/arxiv/papers/2203/2203.11658.pdf

【推荐理由】近年来，当日送达服务越来越受欢迎。现有的研究通常将其建模为一类动态车辆路径问题（DVRP），即货物必须在下订单的同一天从仓库交付给一组客户。DVRPs的自适应精确解方法即使在小问题的情况下也会变得棘手。本文将SDDP描述为马尔可夫决策过程（MDP），并使用一个参数共享的深度Q网络对其进行求解，该网络对应于一种分散的多智能体强化学习（MARL）方法。为此，其创建了基于多代理网格的SDD环境，包括多辆车、一个中央仓库和动态订单生成。通过比较MARL方法和混合编程（MIP）解决方案的性能。结果表明，MARL框架执行与MIP为基础的策略时，订单数量相对较低。对于高阶到达率的问题实例，MARL方法的性能比MIP低30%。当采用特定于区域的参数时，两种方法之间的性能差距变小。对于有30份订单的5x5电网方案，差距从30%降至3%。并且MARL方法平均比基于MIP的策略快65倍，因此对于实时控制可能更有利，至少对于小规模的实例是如此。

内容中包含的图片若涉及版权问题，请及时与我们联系删除