V2X-VLM: End-to-End V2X Cooperative Autonomous Driving Through Large Vision-Language Models

自动驾驶技术的进步越来越注重全流程管理，从环境感知到车辆导航和控制的端到端（E2E）系统。本文介绍了V2X-VLM，这是一个创新的基于车路协同的端到端自动驾驶（VICAD）框架，采用大型视觉语言模型（VLM）。V2X-VLM旨在通过整合车载摄像头、基础设施传感器和文本信息的数据，增强情境感知、决策和最终轨迹规划。VLM全面的多模态数据融合能力，使得在复杂和动态的驾驶场景下，能够实现精确和安全的端到端轨迹规划。DAIR-V2X数据集的验证表明，V2X-VLM在合作自动驾驶方面的表现优于现有的最先进方法。

论文旨在介绍一种新的车辆基础设施合作自动驾驶（VICAD）框架，名为V2X-VLM，旨在提高自动驾驶的感知、决策和轨迹规划能力，解决自动驾驶中的复杂和动态驾驶场景问题。

V2X-VLM框架通过整合车载摄像头、基础设施传感器和文本信息的数据，利用大型视觉语言模型（VLM）实现全面多模型数据融合，从而实现精确和安全的自动驾驶轨迹规划。

论文在DAIR-V2X数据集上进行了实验验证，并证明V2X-VLM在车辆基础设施合作自动驾驶方面的性能优于现有的最新方法。此外，论文还提出了一种新的VICAD框架，该框架使用大型视觉语言模型实现数据融合，为未来的自动驾驶研究提供了新的思路。

近期的相关研究包括：'End-to-End Object Detection with Transformers'、'Vision-Language Navigation with Self-Supervised Auxiliary Reasoning Tasks'、'End-to-End Learning of Driving Models from Large-Scale Video Datasets'等。