HoloVIC: Large-scale Dataset and Benchmark for Multi-Sensor Holographic Intersection and Vehicle-Infrastructure Cooperative

近年来，车辆与一切（V2X）是自动驾驶领域中的热门话题之一，车辆基础设施协作（VIC）成为重要的研究领域之一。由于交通条件的复杂性，如盲区和遮挡，大大限制了单视角路侧感知系统的感知能力。为了进一步提高路侧感知的准确性并向车辆侧提供更好的信息，在本文中，我们构建了具有不同布局的全息十字路口，建立了一个大规模的多传感器全息车辆基础设施协作数据集，称为HoloVIC。我们的数据集包括3种不同类型的传感器（相机、激光雷达、鱼眼）和基于不同十字路口的4种传感器布局。每个十字路口配备6-18个传感器以捕捉同步数据。当自动驾驶车辆通过这些十字路口收集VIC数据时，HoloVIC总共包含来自不同传感器的10万多帧同步数据。此外，我们还基于相机、鱼眼和激光雷达对3D边界框进行了注释。我们还将同一对象的ID与序列中不同设备和连续帧进行了关联。基于HoloVIC，我们制定了四项任务，以促进相关研究的发展。我们还为这些任务提供了基准。

论文旨在通过构建全息交叉口来解决单一视角感知系统在交通条件复杂的情况下的感知能力不足问题，以提高道路感知的准确性，并提供更好的信息给车辆侧。

通过构建多传感器全息交叉口数据集HoloVIC，包括3种不同类型的传感器和4种不同的传感器布局，以及对相机、鱼眼镜头和激光雷达的3D边界框进行注释，建立了车辆基础设施协作的数据集，并提出了4个任务以促进相关研究的发展。

HoloVIC数据集包含100k+来自不同传感器的同步帧，以及相机、鱼眼镜头和激光雷达的3D边界框注释；提出了4个任务以促进相关研究的发展；

在该领域的相关研究包括：“A Survey of V2X Communication for Self-Driving Vehicles”和“Vehicle-to-Everything (V2X) Communication for Autonomous Driving: A Review”等。