Diffusing Colors: Image Colorization with Text Guided Diffusion

本文讨论了将灰度图像着色的复杂性和主观性，并指出了使用大规模数据集和深度神经网络的最新进展，但仍存在可控性和视觉质量方面的困难。为了解决这些问题，作者提出了一种新的图像着色框架，利用了图像扩散技术和细粒度文本提示。这种集成不仅可以产生语义上合适的着色输出，而且大大提高了用户对着色过程的控制水平。作者的方法在自动化和控制之间提供了平衡，从视觉质量和语义连贯性方面优于现有技术。作者利用预训练的生成扩散模型，并展示了在不失去其生成能力或对文本提示的关注的情况下将其微调用于着色任务。此外，作者提出了一种基于CLIP的评分模型，评估颜色的鲜艳程度，从而实现根据特定场景语义自动选择最合适的鲜艳程度水平。作者的方法尤其适用于颜色增强和历史图像着色。

本论文旨在解决灰度图像上色的语义合理性和控制性问题，提出了一种基于图像扩散和文本提示的图像上色框架。

论文提出了一种新的图像上色方法，将图像扩散技术和文本提示相结合，实现了对上色过程的更好控制，同时保持了语义的合理性。

论文的方法在视觉质量和语义连贯性方面优于现有方法，同时提供了一种自动选择颜色鲜艳度的模型，可以根据场景语义自动选择最适合的颜色鲜艳度。论文使用预训练的生成扩散模型，并展示了如何在不影响其生成能力或对文本提示的注意力的情况下对其进行微调。此外，该方法在历史图像上色和图像色彩增强方面具有潜在应用价值。

最近的相关研究包括使用深度神经网络的大规模数据集进行图像上色，以及使用GAN等技术来提高图像上色的质量和效率。