Learning to Detect Objects with a 1 Megapixel Event Camera

论文链接：https://arxiv.org/abs/2009.13436

本文提出了第一个用于目标检测的高分辨率大规模事件摄像机数据集。其包含一个1百万像素事件摄像机的14多个小时的记录，以及以标记的25M个边界框，类别有汽车，行人和两轮车，数据集即将开源！并提出事件摄像机目标检测新网络，表现SOTA！作者单位：PROPHESEE(巴黎传感器公司)等

事件摄像机以高时间精度，低数据速率和高动态范围对视觉信息进行编码。由于这些特性，事件摄像机特别适合于具有高运动，光照条件挑战且要求低延迟的场景。但是，由于该领域的新颖性，与传统的基于帧的解决方案相比，基于事件的系统在许多视觉任务上的性能仍然较低。造成这种性能差距的主要原因是：与框架相机相比，事件传感器的空间分辨率较低；缺乏大规模的训练数据集；缺乏用于基于事件的处理的完善的深度学习架构。在本文中，我们在基于事件的目标检测任务的背景下解决了所有这些问题。首先，我们公开发布了第一个用于目标检测的高分辨率大规模数据集。在汽车场景中，数据集包含一个1百万像素事件摄像机的14多个小时的记录，以及以高频标记的25M个边界框的汽车，行人和两轮车。其次，我们为基于事件的检测引入了一种新颖的递归体系结构，并为更好地表现训练提供了时间一致性损失。紧凑地将事件序列表示到模型的内部存储器中的能力对于实现高精度至关重要。我们的模型在很大程度上基于基于事件的前馈事件架构。此外，我们的方法不需要从事件中重建任何强度图像，这表明直接从原始事件中进行训练比通过中间强度图像更可行，更有效且更准确。在这项工作中引入的数据集上的实验（可获得事件和灰度图像）显示出与经过高度调优和研究的基于帧的检测器相当的性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除