ColorPeel: Color Prompt Learning with Diffusion Models via Color and Shape Disentanglement

随着扩散模型的出现，文本到图像(T2I)生成取得了重大进展。这些模型表现出显著的能力，可以根据文本提示生成图像。目前的T2I模型允许用户使用语言颜色名称指定对象颜色。然而，这些标签涵盖了广泛的颜色范围，使得精确匹配颜色变得困难。为了解决这个具有挑战性的任务，即命名颜色提示学习，我们提出了学习特定颜色提示以适应用户选择的颜色。现有的T2I个性化方法往往会导致颜色和形状的纠缠。为了克服这个问题，在目标颜色中生成几个基本的几何对象，允许在颜色提示学习过程中进行颜色和形状的分离。我们的方法被称为ColorPeel，成功地帮助T2I模型从这些着色形状中剥离出新的颜色提示。在实验中，我们展示了ColorPeel在使用T2I模型实现精确颜色生成方面的有效性。此外，我们将ColorPeel推广到有效地学习抽象属性概念，包括纹理、材料等。我们的发现代表了改进T2I模型精度和多功能性的重要一步，为创意应用和设计任务提供了新的机会。我们的项目可在https://moatifbutt.github.io/colorpeel/上获得。

论文旨在解决T2I生成中存在的颜色匹配问题，提出了一种个性化学习颜色提示的方法ColorPeel。

ColorPeel通过生成基本几何对象来实现颜色和形状的解耦，从而成功地辅助T2I模型学习到与用户选择的颜色精确匹配的颜色提示。

ColorPeel的实验结果表明其在实现精确颜色匹配方面的有效性。此外，ColorPeel还可以推广到学习抽象属性概念，如纹理、材料等。该项目已经开源。

最近在这个领域中的相关研究包括：《Generative Adversarial Networks》、《Image-to-Image Translation with Conditional Adversarial Networks》等。