Fine-Tuning Stable Diffusion XL for Stylistic Icon Generation: A Comparison of Caption Size

在本文中，我们展示了针对 Stable Diffusion XL 的不同微调方法；这包括推理步骤和为每个图像定制说明文字，以使其与商业 2D 图标训练集中生成的图像风格相一致。我们还展示了在商业使用环境中，正确定义“高质量”有多么重要。随着生成式人工智能模型在各种应用中的广泛接受和使用，出现了许多不同的优化和评估方法。特别是文本到图像模型，如 Stable Diffusion XL 和 DALL-E 3，需要不同的评估方法，以有效地根据特定风格生成高质量的图标。虽然基于某种风格生成的一些图像可能具有较低的 FID 分数（更好），但我们展示了即使对于光栅化图标来说，这也不是绝对的。虽然 FID 分数反映了生成图像与整个训练集的相似性，但 CLIP 分数则衡量了生成图像与它们的文本描述之间的对齐程度。我们展示了 FID 分数忽略了重要的方面，例如在图标中最重要的少数像素差异，而 CLIP 分数会导致对图标质量的错误判断。CLIP 模型对“相似性”的理解是由其自己的训练数据塑造的，而这并不考虑我们所选择的风格中的特征变化。我们的研究结果强调了在生成高质量商业图标时需要专门的评估指标和微调方法，这可能会在专业设计环境中导致更有效和个性化的文本到图像模型应用。

本文试图解决在商业设计背景下生成高质量图标的问题，包括评估和优化生成模型的方法。

本文提出了针对商业设计背景下生成图标的特定评估指标和微调方法，包括对每个图像进行推理步骤和标题定制，以便与商业 2D 图标训练集的风格相匹配。

本文重点关注商业设计背景下生成高质量图标的问题，提出了针对该问题的评估指标和微调方法，实验设计合理，使用了公开数据集。

最近在这个领域中，还有一些相关的研究，如 DALL-E 3 等。