CCC++: Optimized Color Classified Colorization with Segment Anything Model (SAM) Empowered Object Selective Color Harmonization

本文将彩色化问题转化为多项式分类问题，然后对类别应用加权函数。我们提出了一组公式，将颜色值转换为颜色类别，反之亦然。为了优化类别，我们尝试使用不同的颜色类别转换的二进制大小。通过在实践中观察类别外观、标准差和模型参数在各种极大规模实时图像上，我们为我们的分类任务提出了532个颜色类别。在训练过程中，我们提出了一种基于每批次真实类别外观的类别加权函数，以确保单个对象的适当饱和度。我们通过降低更常见的主要类别的权重，同时提高较少常见的次要类别的权重来调整权重。在我们的类别重新加权公式中，我们提出了一个超参数，用于找到主要和次要出现类别之间的最佳权衡。由于我们应用了正则化来增强较小类别的稳定性，因此在物体的边缘可能会出现偶发的较小噪声。我们提出了一种由“任意分割模型”（SAM）强化的新型对象选择性颜色协调方法，以改善和增强这些边缘。我们提出了两种新的彩色图像评估指标，即颜色类别激活比（CCAR）和真实激活比（TAR），以量化颜色成分的丰富程度。我们使用六个不同的数据集：Place、ADE、Celeba、COCO、Oxford 102 Flower和ImageNet，以定性和定量方法比较我们提出的模型和最先进的模型。实验结果表明，我们提出的模型在可视化、CNR和我们提出的CCAR和TAR测量标准方面超过其他模型，同时在回归（MSE、PSNR）、相似性（SSIM、LPIPS、UIUI）和生成标准（FID）方面保持了令人满意的性能。

本文尝试将图像着色问题转化为多项式分类问题，并提出了一种基于权重函数的分类方法，旨在解决对象饱和度不均的问题。

本文提出了一种将颜色值转化为颜色类别的公式，并通过实验确定了532种颜色类别，同时提出了一种基于真实类别外观的类别加权函数来优化训练过程。

本文提出了两种新的颜色图像评估指标，即颜色类别激活比（CCAR）和真实激活比（TAR），并使用六种不同的数据集进行了实验比较，结果表明本文模型在可视化、CCAR和TAR指标上优于其他模型。

在最近的相关研究中，有一些论文探讨了基于深度学习的图像着色问题，如“Colorful Image Colorization”和“Deep Koalarization: Image Colorization using Variational Autoencoders”。