Embracing Events and Frames with Hierarchical Feature Refinement Network for Object Detection

在基于帧的视觉中，由于传统相机的感知能力有限，目标检测在复杂条件下面临着严重的性能退化问题。事件相机输出稀疏和异步的事件，为解决这些问题提供了潜在的解决方案。然而，有效地融合两种异构模态仍然是一个悬而未决的问题。本文提出了一种新颖的分层特征细化网络，用于事件-帧融合。核心概念是设计粗到细的融合模块，称为跨模态自适应特征细化（CAFR）模块。在初始阶段，双向跨模态交互（BCI）部分促进了来自两个不同来源的信息桥接。随后，通过在两倍自适应特征细化（TAFR）部分中对通道级均值和方差进行对齐，进一步细化特征。我们在两个基准测试上进行了广泛的实验：低分辨率PKU-DDD17-Car数据集和高分辨率DSEC数据集。实验结果表明，我们的方法在DSEC数据集上比现有技术领先了惊人的8.0％。此外，当向帧图像引入15种不同的破坏类型时，我们的方法表现出显着更好的鲁棒性（69.5％对38.7％）。代码可在链接（https://github.com/HuCaoFighting/FRN）中找到。

论文旨在解决基于帧的视觉在复杂条件下的性能下降问题，提出了一种基于事件-帧融合的分层特征细化网络，解决了如何有效地融合两种异构模态的问题。

论文的关键思路是设计了粗到细的融合模块，即交叉模态自适应特征细化（CAFR）模块。该模块包括双向交叉模态交互（BCI）和双重自适应特征细化（TAFR）两个部分，能够有效地将事件和帧两种模态的信息融合，提高目标检测的性能。

论文在两个数据集上进行了实验，分别是低分辨率的PKU-DDD17-Car数据集和高分辨率的DSEC数据集。实验结果表明，该方法在DSEC数据集上的表现超过了现有方法8.0%，且在引入15种不同的图像污染类型时，表现出更好的鲁棒性。此外，论文还开源了代码。

最近的相关研究包括：'Event-Based Vision and Deep Learning for Robotics'，'Event-Based Object Detection with a Dynamic Background'，'Event-Based Object Detection via a Fusion Moving Object Detection Network'等。