Mix Q-learning for Lane Changing: A Collaborative Decision-Making Method in Multi-Agent Deep Reinforcement Learning

自动驾驶车辆路径规划中至关重要的换道决策，由于基于规则的限制和数据有限而面临实际挑战。深度强化学习由于其在数据获取和可解释性方面的优势而成为主要研究焦点。然而，当前模型常常忽视协作，这不仅影响整体交通效率，而且长期阻碍车辆自身的正常行驶。为解决上述问题，本文提出了一种名为混合Q学习换道方法（MQLC）的方法，它集成了混合价值Q网络，考虑了集体和个体利益的整体利益。在集体层面上，我们的方法通过利用全局信息协调个体Q和全局Q网络。这使得智能体能够有效地平衡个体利益和集体利益。在个体层面上，我们将基于深度学习的意图识别模块集成到我们的观察中，并增强了决策网络。这些变化为智能体提供了更丰富的决策信息和更准确的特征提取，以改进换道决策。这种策略使多智能体系统能够有效地学习和制定最佳决策策略。通过广泛的实验结果，我们的MQLC模型令人印象深刻地优于其他最先进的多智能体决策方法，实现了更安全和更快速的换道决策。

解决自动驾驶车辆换道决策中的协作问题，提高交通效率和车辆驾驶安全性。

提出一种名为Mix Q-learning的方法，通过混合价值Q网络，同时考虑个体和整体利益，解决车辆换道决策中的协作问题。该方法在观察中集成了基于深度学习的意图识别模块，提供更丰富的决策信息和更准确的特征提取，从而实现了车辆的智能决策。

通过实验结果，Mix Q-learning方法在多智能体决策中表现出色，比其他最先进的方法更安全、更快地进行车道变换决策。该方法的实验使用了开源数据集，并且在实验中展示了深度学习意图识别模块的有效性。

在最近的相关研究中，也有一些关于自动驾驶车辆换道决策的研究，例如：《A Deep Reinforcement Learning Framework for the Autonomous Lane Change Maneuver》、《A Multi-Agent Reinforcement Learning-Based Approach for Autonomous Lane Change》等。