Performance Comparison of Deep RL Algorithms for Mixed Traffic Cooperative Lane-Changing

车道变换（LC）是对连接和自动化车辆（CAVs）来说具有挑战性的情景，因为交通环境的复杂动态和高度不确定性。这个挑战可以通过深度强化学习（DRL）方法来处理，利用它们的数据驱动和无模型特性。我们之前的工作提出了一种基于TD3的混合交通中的合作车道变换（CLCMT）机制，以促进最佳车道变换策略。本研究通过考虑人类驾驶车辆（HVs）的不确定性和HVs与CAVs之间的微观相互作用，增强了当前的CLCMT机制。利用包括DDPG、TD3、SAC和PPO在内的最先进的DRL算法处理具有连续动作的MDP。四种DRL算法的性能比较表明，DDPG、TD3和PPO算法可以处理交通环境中的不确定性，并学习出在安全、效率、舒适性和生态性方面表现良好的LC策略。PPO算法在奖励更高、探索错误和碰撞更少、车道变换策略更舒适和生态方面表现优于其他三种算法。这些改进为CLCMT机制在CAVs的LC运动规划方面带来了更大的优势。

本论文旨在解决自动驾驶车辆在复杂交通环境下的换道问题，提出了一种基于深度强化学习的协作换道机制。

论文提出了一种改进的协作换道机制，考虑了人类驾驶车辆的不确定性和人车交互微观影响，利用四种最先进的深度强化学习算法来处理连续动作的MDP，其中PPO算法表现最佳。

实验结果表明，PPO算法相比其他算法在换道效果上更优秀，具有更高的奖励、更少的探索错误和碰撞，以及更舒适和生态的换道策略。该论文的改进为自动驾驶车辆的换道规划带来了更大的优势。

近期相关研究包括：1. Learning Lane Change Strategy for Autonomous Vehicles with Dynamic Traffic via Deep Reinforcement Learning; 2. A Cooperative Lane Change Method for Connected and Automated Vehicles in Mixed Traffic; 3. A Reinforcement Learning Approach to Lane Change with Continuous Action Space for Autonomous Driving