【标题】Improved Deep Reinforcement Learning with Expert Demonstrations for Urban Autonomous Driving 【作者】Haochen Liu, Zhiyu Huang, Chen Lv 【研究团队】新加坡南洋理工大学 【发表时间】2021.2.18 论文链接 【推荐理由】本文通过最大化Q函数和模仿专家的行为来修改城市自动驾驶的运动控制策略网络的更新，并设计了一种自适应的体验重播方法来自适应地从代理的自我探索和专家演示中抽取经验进行策略更新。研究结果表明，该方法在自动驾驶汽车的运动控制策略中具有广阔的应用前景。

目前，由于驾驶环境的复杂性，城市自动驾驶仍然具有挑战性。基于学习的方法（例如强化学习（RL）和模仿学习（IL））已显示出优于基于规则的方法，显示出智能决策的巨大潜力，但它们在城市驾驶情况下仍然无法很好地发挥作用。为了更好地解决这个问题，本文提出了一种新颖的基于学习的方法，该方法将深度强化学习与专家演示相结合，重点研究自主驾驶中的纵向运动控制。本文提出的方法采用了行动者-批评者结构，并修改了策略网络的学习过程，以兼顾最大化奖励和模仿专家的目标。此外，还设计了一种自适应的优先经验重放，用于从代理的自我探索和专家演示中抽取经验样本，以提高样本效率。所提出的方法在模拟的城市环岛情景中得到了验证，并与各种流行的RL和IL基线方法进行了比较。结果表明，该方法具有较快的训练速度并且在安全有效的导航中具有更好的性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除