Towards Robust Event-guided Low-Light Image Enhancement: A Large-Scale Real-World Event-Image Dataset and Novel Approach

事件相机因其高动态范围等显著优势，近来在低光图像增强（LIE）方面受到了广泛关注。然而，由于缺乏大规模、真实世界和时空对齐的事件-图像数据集，当前的研究受到了严重限制。为此，我们提出了一个真实世界（室内和室外）数据集，包括超过30K对图像和事件，分别在低光和正常照明条件下。为了实现这一目标，我们利用机械臂跟踪一致的非线性轨迹，精确到0.03毫米的空间对齐精度，构建了这个数据集。然后，我们引入了一种匹配对齐策略，使我们的数据集中90%的数据误差小于0.01秒。基于该数据集，我们提出了一种新颖的事件引导的LIE方法，称为EvLight，以实现在真实世界低光场景下的强大性能。具体而言，我们首先设计了多尺度整体融合分支，从事件和图像中提取整体结构和纹理信息。为了确保对区域照明和噪声变化的鲁棒性，我们引入了信噪比（SNR）引导的区域特征选择，选择性地融合具有高SNR区域的图像特征，并通过从事件中提取区域结构信息来增强低SNR区域的特征。在我们的数据集和合成的SDSD数据集上进行的大量实验表明，我们的EvLight显著优于基于帧的方法。代码和数据集可在https://vlislab22.github.io/eg-lowlight/上获取。

缺乏大规模、真实世界的事件-图像数据集，限制了低光图像增强技术的研究和应用。

提出一种基于机器臂的数据采集方法，构建了一个包括3万多对图像和事件的真实世界数据集，提出了一种名为EvLight的事件引导低光图像增强方法。

使用机器臂采集数据，精度高；提出了多尺度全局融合和信噪比引导的区域特征选择方法；实验结果表明EvLight方法显著优于基于帧的方法。

近期相关研究包括《EventGAN: Event-Driven Generative Adversarial Networks for Event Camera》、《Event-Based Low-Light Image Enhancement Using Brightness Adjustment and Deblurring》等。