Detecting Every Object from Events

目标检测在自动驾驶中至关重要，而定位未知类别的物体更具实际意义但也更具挑战性：这被称为类别不可知的物体检测（CAOD）。现有的CAOD研究主要依赖于普通相机，但这些基于帧的传感器通常具有高延迟和有限的动态范围，导致在实际场景中存在安全风险。在本研究中，我们转向一种由所谓的事件相机实现的新型传感器，其特点是亚毫秒延迟和高动态范围，用于实现强大的CAOD。我们提出了一种名为“事件中的每个物体检测（DEOE）”的方法，专门用于在基于事件的视觉中实现高速、类别不可知的开放式物体检测。基于快速的基于事件的骨干网络：循环视觉变换器，我们同时考虑空间和时间的一致性来识别潜在的物体。发现的潜在物体被同化为软正样本，以避免被压制为背景。此外，我们引入了一个分离的物体头部，用于分离前景-背景分类和新物体发现任务，增强模型在定位新物体的同时过滤背景的能力。广泛的实验证实了我们提出的DEOE方法在与三种强基线方法进行比较时的优越性，这些方法将最先进的基于事件的物体检测器与基于RGB的CAOD的进展相结合。我们的代码可在https://github.com/Hatins/DEOE上获得。

解决问题：论文旨在通过使用事件相机来解决自动驾驶中的类别无关物体检测问题，以提高检测速度和准确性。

关键思路：论文提出了一种名为DEOE的方法，它使用事件相机和快速事件依赖的骨干网络，通过同时考虑空间和时间一致性来识别潜在的物体，并将其作为软正样本吸收，从而提高了模型的泛化能力。

其他亮点：论文的实验结果表明，DEOE方法相比于三种强基线方法在速度和准确性上都有明显的提升。DEOE方法的代码已经在GitHub上开源。

相关研究：最近的相关研究包括使用RGB相机进行类别无关物体检测以及使用事件相机进行物体检测。