InstantStyle: Free Lunch towards Style-Preserving in Text-to-Image Generation

调参自由的基于扩散的模型在图像个性化和定制方面展现了显著的潜力。然而，尽管取得了这一显著进展，当前的模型仍然在产生风格一致的图像生成方面面临着几个复杂的挑战。首先，风格的概念本质上是不确定的，包括颜色、材料、氛围、设计和结构等多个元素。其次，反演方法容易导致风格退化，经常导致细节的丢失。最后，适配器方法经常需要对每个参考图像进行细致的权重调整，以实现风格强度和文本可控性之间的平衡。在本文中，我们首先检查了几个引人注目但常常被忽视的观察结果。然后，我们介绍了InstantStyle，这是一个旨在通过实施两个关键策略来解决这些问题的框架：1)一个简单的机制，将特征空间中的风格和内容与参考图像分离开来，基于同一空间内的特征可以相互添加或相互减少的假设。2)将参考图像特征专门注入到风格特定的块中，从而防止风格泄漏，并避免了繁琐的权重调整，这经常是更参数重的设计所特有的。我们的工作展示了更优秀的视觉风格化结果，在风格强度和文本元素可控性之间取得了最佳平衡。我们的代码将在https://github.com/InstantStyle/InstantStyle上公开。

本论文旨在解决图像个性化和定制领域中的样式一致性问题，同时避免当前模型中存在的样式退化和繁琐的权重调整等问题。

本论文提出了InstantStyle框架，通过两种关键策略解决问题：1）在特征空间中将样式和内容与参考图像分离，通过特征相加或相减实现；2）将参考图像特征仅注入到特定样式块中，从而防止样式泄漏并避免繁琐的权重调整。

本论文的亮点在于实现了更好的视觉风格化结果，在样式强度和文本元素可控性之间达到了最佳平衡。论文提供了开源代码，代码可在 https://github.com/InstantStyle/InstantStyle 上获得。值得进一步研究的工作包括如何在更广泛的数据集上进行评估和如何将该框架应用于其他领域。

在这个领域中，最近的相关研究包括：1）AdaIN风格转换，2）WCT风格转换，3）AvatarNet图像个性化。