Temporal-Mapping Photography for Event Cameras

本文介绍了一种新型的神经形态传感器——事件相机或动态视觉传感器（DVS），它们以连续的“事件”流的形式捕捉亮度变化，而不是传统的强度帧。将稀疏事件转换为密集的强度帧一直是一个不适定问题。以前的方法主要集中在将事件转换为动态场景或移动相机中的视频。本文首次实现了使用静止事件相机在静态场景中将事件转换为密集强度图像。与主要依赖事件积分的传统方法不同，所提出的基于事件的时间映射摄影（EvTemMap）测量每个像素发射事件的时间。然后，利用时间映射神经网络将产生的时间矩阵转换为强度帧。在硬件层面上，所提出的EvTemMap通过将可调透过率装置与DVS结合实现。此外，我们在各种条件下收集了TemMat数据集，包括低光和高动态范围场景。实验结果展示了所提出的EvTemMap的高动态范围、细节精细和高灰度分辨率，以及与其他方法相比，在下游计算机视觉任务上的增强性能。代码和TemMat数据集将公开发布。

本文旨在使用静态事件相机在静态场景中实现事件到密集强度图像的转换，解决了传统方法中稀疏事件转换为密集强度帧的问题。

该论文提出了一种名为EvTemMap的解决方案，使用时间映射神经网络将事件转换为密集的强度图像，同时使用可调透射率动态视觉传感器实现硬件级别的转换。

该论文提出的EvTemMap方法在各种条件下收集了TemMat数据集，展示了高动态范围，细节清晰和高灰度分辨率的优点，并且相对于其他方法，在下游计算机视觉任务上表现出更好的性能。研究者还将代码和TemMat数据集公开。

最近的相关研究包括：1. Dynamic Vision Sensors的应用研究；2. 事件相机的使用和优化；3. 基于神经网络的图像转换方法。