Multi-scale HSV Color Feature Embedding for High-fidelity NIR-to-RGB Spectrum Translation

将近红外光谱（NIR）转换为RGB光谱颜色是一项艰巨的任务，因为NIR输入和RGB输出之间存在固有的光谱映射歧义。因此，现有方法未能平衡保持纹理细节保真度和实现多样化颜色变化之间的紧张关系。本文提出了一种多尺度HSV颜色特征嵌入网络（MCFNet），将映射过程分解为三个子任务，包括NIR纹理保持、粗略几何重建和RGB颜色预测。因此，我们提出了三个关键模块，分别用于对应的子任务：纹理保持块（TPB）、HSV颜色特征嵌入模块（HSV-CFEM）和几何重建模块（GRM）。这些模块通过一系列逐步升级分辨率的方法，有序地处理光谱转换，逐步以尺度协调的方式丰富图像的颜色和纹理保真度。所提出的MCFNet在NIR图像上着色任务中表现出了显著的性能提升。代码已发布在：https://github.com/AlexYangxx/MCFNet。

论文旨在解决NIR到RGB光谱域翻译的问题，即如何在保持纹理细节保真度和实现多样化颜色变化之间找到平衡点。

论文提出了一种多尺度HSV颜色特征嵌入网络（MCFNet），将映射过程分解为三个子任务，并针对每个子任务提出了相应的模块：纹理保持块（TPB）、HSV颜色特征嵌入模块（HSV-CFEM）和几何重建模块（GRM），通过一系列逐渐升高分辨率的处理逐步丰富图像的颜色和纹理保真度。

论文的实验结果表明，所提出的MCFNet在NIR图像着色任务上具有显著的性能提升，代码已经开源。该论文的亮点在于提出了一种多尺度处理的方法，将纹理和颜色信息分别处理，并在不同尺度之间进行协调。值得进一步研究。

最近在这个领域中，还有一些相关的研究，例如：《Deep Multi-Spectral to RGB Translation with GANs》、《Hyperspectral Image Colorization via Joint Learning of Spectral and Spatial Correlations》等。