SEVD: Synthetic Event-based Vision Dataset for Ego and Fixed Traffic Perception

最近，基于事件的视觉传感器因传统RGB相机在处理复杂动态条件方面的局限性而受到自动驾驶应用的关注。然而，现实世界和合成事件视觉数据集的可用性仍然有限。为了弥补这一空白，我们在CARLA模拟器中使用多个动态视觉传感器提供了SEVD，这是一个首个多视角自我和固定感知合成事件数据集。数据序列跨越不同的光照（中午、夜间、黄昏）和天气条件（晴朗、多云、湿润、雨天、雾天）以及领域转移（离散和连续）进行记录。SEVD涵盖了城市、郊区、乡村和高速公路场景，并展示了各种对象的类别（汽车、卡车、货车、自行车、摩托车和行人）。除了事件数据外，SEVD还包括RGB图像、深度图、光流、语义和实例分割，有助于全面理解场景。此外，我们使用交通参与者检测任务的最先进的基于事件的（RED、RVT）和基于帧的（YOLOv8）方法来评估数据集，并提供基准基准进行评估。此外，我们还进行实验评估合成事件数据集的泛化能力。该数据集可在https://eventbasedvision.github.io/SEVD上获得。

SEVD论文试图解决的问题是现有RGB相机在处理动态场景时存在局限性，因此需要开发一种基于事件的视觉传感器，但是目前现实世界和合成数据集的可用性仍然有限。

论文提出了SEVD，这是一个多视角自我和固定感知的合成事件数据集，使用CARLA模拟器中的多个动态视觉传感器记录数据序列，包括RGB图像、深度图、光流、语义和实例分割，以便全面理解场景。同时，论文还评估了使用SEVD进行交通参与者检测任务的事件和基于帧的方法的性能，并提供了基准测试结果。

论文的亮点包括：1）SEVD是第一个多视角自我和固定感知的合成事件数据集，2）数据集跨越城市、郊区、乡村和高速公路场景，包括各种物体类别，3）论文提供了基于事件和基于帧的方法的性能基准测试结果，4）论文还评估了数据集的泛化能力。

最近在这个领域中，还有一些相关的研究，例如：1）DroNet：Learning to Fly by Driving，2）Event-based Vision: A Survey，3）Event-based Object Detection for Autonomous Driving，4）A Benchmark for End-to-End Autonomous Vehicle Control