PIE: Physics-inspired Low-light Enhancement

2024年04月06日
  • 简介
    本文提出了一种物理启发的对比学习范式,称为 PIE,用于低光增强。PIE主要解决了三个问题:(i)为解决现有的基于学习的方法经常训练具有严格像素对应关系的LLE模型的问题,我们消除了对像素对应配对训练数据的需求,而是使用未配对的图像进行训练。 (ii)为解决现有方法中忽略负样本以及其生成的不足之处,我们将物理启发的对比学习引入到LLE中,并设计了曲线包(BoC)方法来生成更合理的负样本,从而更好地遵循底层物理成像原理。 (iii)为克服现有方法中对语义基本事实的依赖性,我们提出了一种无监督的区域分割模块,确保区域亮度一致性,同时消除对语义基本事实的依赖性。总体而言,所提出的PIE可以有效地从未配对的正/负样本中学习,并平滑地实现非语义区域增强,这与现有的LLE方法明显不同。除了PIE的新颖架构,我们还探讨了PIE在语义分割和人脸检测等下游任务上的收益。在现有的开放数据上训练并进行了广泛的实验,证明了我们的方法在六个独立的跨场景数据集上超过了现有技术中的LLE模型。PIE在测试时间内运行速度快,GFLOPs合理,易于在移动设备上使用。
  • 作者讲解
  • 图表
  • 解决问题
    本文提出了一种物理启发的对比学习范式,用于低光增强。主要解决了现有学习方法训练LLE模型时需要严格的像素对应图像对的问题,通过使用非配对图像进行训练来消除像素对应性。同时解决了现有方法中对负样本的忽视和生成不足的问题,通过物理启发式对比学习和设计曲线包(BoC)方法来生成更合理的负样本。此外,提出了一种无监督区域分割模块,确保区域亮度一致性,同时消除了对语义基础事实的依赖。
  • 关键思路
    通过物理启发式对比学习和设计曲线包(BoC)方法来生成更合理的负样本,消除了现有学习方法训练LLE模型时需要严格的像素对应图像对的问题,同时提出了一种无监督区域分割模块,消除了对语义基础事实的依赖。
  • 其它亮点
    本文提出的PIE可以有效地学习来自未配对的正/负样本,并平滑地实现非语义区域增强,与现有的LLE方法明显不同。此外,本文还探讨了PIE在语义分割和人脸检测等下游任务中的收益。实验表明,我们的方法在六个独立的交叉场景数据集上超越了现有的LLE模型。PIE在测试时间内运行速度快,GFLOPs合理,易于在移动设备上使用。
  • 相关研究
    最近的相关研究包括:《A Low-Light Image Enhancement Method for Real-Time Image and Video Applications Using Deep Convolutional Neural Networks》、《Low-Light Image Enhancement Based on Retinex and Color Correction》、《Low-light image enhancement using variational optimization-based retinex model》等。
许愿开讲
PDF
原文
点赞 收藏
向作者提问
NEW
分享到Link

提问交流

提交问题,平台邀请作者,轻松获得权威解答~

向作者提问