DemosaicFormer: Coarse-to-Fine Demosaicing Network for HybridEVS Camera

本研究提出了一种名为DemosaicFormer的粗到细的框架，包括粗糙的去马赛克和像素校正。该框架旨在解决HybridEVS传感器缺乏专门设计的图像信号处理（ISP）流水线的问题。粗糙的去马赛克网络旨在从HybridEVS原始数据中产生初步的高质量RGB图像估计，而像素校正网络则增强了图像恢复的性能，并减轻了有缺陷像素的影响。本研究的关键创新是设计了一个多尺度门控模块（MSGM），应用了跨尺度特征的集成，允许特征信息在不同尺度之间流动。此外，采用渐进式训练和数据增强策略进一步提高了模型的鲁棒性和有效性。实验结果表明，与现有方法相比，我们的DemosaicFormer在定性和视觉上都表现出优越的性能，并在MIPI 2024关于Hybridevs相机去马赛克的挑战中实现了所有评估指标的最佳性能。该代码可在https://github.com/QUEAHREN/DemosaicFormer获得。

论文旨在解决HybridEVS相机的图像信号处理问题，提出了一种针对HybridEVS的DemosaicFormer框架，用于粗糙解码和像素矫正。

DemosaicFormer框架采用多尺度门控模块（MSGM）实现跨尺度特征信息的整合，采用渐进式训练和数据增强策略提高模型的鲁棒性和效果。

实验结果表明，DemosaicFormer在MIPI 2024 Hybridevs相机Demosaic挑战赛中表现最佳。研究者开源了代码。

最近的相关研究包括：1. 'A Hybrid Imaging System Combining a Frame-Based and a Event-Based Camera for High Dynamic Range and Low-Latency Applications'；2. 'A Unified Deep Framework for Joint Demosaicking and Denoising'。