Joint RGB-Spectral Decomposition Model Guided Image Enhancement in Mobile Photography

将微型光谱仪集成到移动设备中为图像质量提升和促进新的下游任务提供了新的途径。然而，光谱传感器在移动摄影中的广泛应用受到光谱图像固有复杂性和光谱成像能力的限制所阻碍。为了克服这些挑战，我们提出了一种联合RGB-光谱分解模型引导增强框架，包括两个步骤：联合分解和先验引导增强。首先，我们利用RGB和低分辨率多光谱图像（Lr-MSI）之间的互补性来预测阴影、反射和材料语义先验。随后，这些先验被无缝地集成到已建立的HDRNet中，以促进动态范围增强、颜色映射和网格专家学习。此外，我们构建了一个高质量的Mobile-Spec数据集来支持我们的研究，我们的实验验证了Lr-MSI在色调增强任务中的有效性。这项工作旨在为推进移动摄影中的光谱视觉奠定坚实的基础。代码可在\url{https://github.com/CalayZhou/JDM-HDRNet}上找到。

论文旨在解决移动摄影中光谱图像的复杂性和光谱成像能力的限制，提出了一种联合RGB-光谱分解模型指导增强框架。

该框架包含两个步骤：联合分解和先验引导增强。通过利用RGB和低分辨率多光谱图像（Lr-MSI）之间的互补性来预测阴影、反射和材料语义先验，然后将这些先验无缝地集成到HDRNet中，以促进动态范围增强、色彩映射和网格专家学习。

论文构建了一个高质量的Mobile-Spec数据集来支持研究，并验证了Lr-MSI在色调增强任务中的有效性。代码已经开源。

最近的相关研究包括：'Spectral Reconstruction for Multi-Channel Image Enhancement'，'Spectral Image Enhancement via Adaptive Gradient Magnitude Guided Filtering'等。