RMFA-Net: A Neural ISP for Real RAW to RGB Image Reconstruction

基于深度学习的ISP算法在raw2rgb重建中展现了显著的潜力。然而，现有的网络没有充分考虑原始数据的特定特征，如黑电平和CFA，如果处理不当可能会对纹理和颜色产生负面影响。此外，原始数据中的曝光不均匀也没有得到仔细考虑，导致对比度和亮度产生不利影响。在本文中，我们介绍了RMFA-Net来解决这些问题。我们执行隐式黑电平校正以减轻暗场景中的色偏。为了保留高频信息并防止错位，我们提出了一种新颖的三通道分离模式。为了解决曝光不均匀的问题，我们设计了一个基于Retinex理论的显式色调映射模块。我们使用Mobile AI 2022 Learned Smartphone ISP Challenge发布的数据集来训练和评估我们的模型。实验证明，RMFA-Net优于先前的算法，实现了超过25 dB的PSNR得分，超过了最先进技术1 dB。此外，我们开发了一个轻量级版本RMFANet-tiny，用于工程部署，同时仍然保持强大的性能，超过了最先进技术0.5 dB。

该论文旨在解决raw2rgb重建中存在的黑电平、CFA和不均匀曝光等问题，这些问题会对纹理和颜色产生负面影响。

该论文提出了RMFA-Net，通过隐式黑电平校正、三通道分离模式和显式Retinex理论的色调映射模块来解决这些问题。

在Mobile AI 2022 Learned Smartphone ISP Challenge数据集上训练和评估，RMFA-Net的PSNR得分超过25 dB，超过现有算法的1 dB。此外，论文还开发了轻量级版本RMFANet-tiny，其性能强于SOTA 0.5 dB。

最近的相关研究包括：DeepISP，SID，Pix2PixHD等。