CLIPtone: Unsupervised Learning for Text-based Image Tone Adjustment

最近的图像色调调整（或增强）方法主要采用了监督学习来学习人类感知评估。然而，这些方法受到监督学习固有挑战的限制。主要的是，需要专家精心策划或修饰的图像会增加数据采集费用。此外，它们对目标风格的覆盖范围受限于从训练数据推断出的风格变体。为了克服以上挑战，我们提出了一种基于无监督学习的文本图像色调调整方法CLIPtone，它将现有的图像增强方法扩展到适应自然语言描述。具体来说，我们设计了一个超级网络，根据文本描述自适应调节预训练模型的参数。为了评估调整后的图像是否与文本描述一致，我们使用CLIP，它是在大量的语言-图像对上训练的，因此包含了人类感知的知识。我们方法的主要优点有三个：（i）最小的数据采集费用，（ii）支持各种调整，（iii）能够处理训练中未见过的新文本描述。我们的方法的有效性通过包括用户研究在内的全面实验得到了证明。

论文提出了一种基于自然语言描述的图像色调调整方法，通过无监督学习实现，旨在解决基于监督学习的方法所面临的数据采集成本高、风格覆盖范围有限等问题。

论文设计了一个超级网络，可以根据文本描述自适应调节预训练模型的参数，通过利用CLIP评估调整后的图像是否与文本描述相符合，从而实现无需标注的图像色调调整。

论文的方法具有数据采集成本低、支持多种调整、能够处理未在训练中出现的文本描述等优点。实验结果表明该方法的有效性，并进行了用户研究。论文使用的数据集和代码也进行了公开。

在相关研究方面，最近的一些相关研究包括基于GAN的图像色调调整方法和基于风格迁移的方法等。