V2X-Real: a Largs-Scale Dataset for Vehicle-to-Everything Cooperative Perception

最近，车辆到一切（V2X）技术的进步使得自动驾驶汽车能够共享感知信息以透过遮挡物，大大提高了感知能力。然而，目前没有真实世界的数据集来促进V2X合作感知研究--现有的数据集只支持车辆到基础设施的合作或车辆到车辆的合作。本文提出了一个数据集，同时具有多辆车和智能基础设施，以促进具有多模态感知数据的V2X合作感知开发。我们使用两个连接的自动驾驶汽车和两个智能基础设施收集了V2X-Real，它们都配备了多模态传感器，包括LiDAR传感器和多视角摄像头。整个数据集包含33K个LiDAR帧和171K个相机数据，在非常具有挑战性的城市场景中有超过1.2M个10个类别的注释边界框。根据协作模式和自我视角，我们推导出四种类型的数据集，分别是车辆中心、基础设施中心、车辆到车辆和基础设施到基础设施的合作感知。提供了SOTA合作感知方法的全面多类多代理基准。V2X-Real数据集和基准代码将被发布。

本文试图解决V2X协作感知领域缺乏真实世界数据集的问题，提出了一个同时包含多个车辆和智能基础设施的数据集，以促进V2X协作感知研究。

本文提出了V2X-Real数据集，使用两个连接的自动驾驶车辆和两个智能基础设施进行数据收集，包含多模态传感器数据，提供四种不同类型的数据集，为V2X协作感知提供全面的多类多代理基准测试。

数据集包含33K LiDAR帧和171K相机数据，有超过1.2M个注释边界框，包含10个类别，适用于复杂的城市场景。本文提供了SOTA协作感知方法的全面多类多代理基准测试，并且V2X-Real数据集和基准测试代码将会开源。

近期的相关研究包括：1.《A Survey of V2X Communication》；2.《A comprehensive survey on cooperative perception for intelligent transportation systems》；3.《V2X Communication for Autonomous Vehicles: A Comprehensive Survey》等。