Refining Text-to-Image Generation: Towards Accurate Training-Free Glyph-Enhanced Image Generation

在过去的几年中，基于扩散模型的文本到图像（T2I）生成方法备受关注。然而，普通的扩散模型经常在生成的图像中显示的文本中出现拼写错误。生成视觉文本的能力非常重要，具有学术兴趣和广泛的实际应用。为了产生准确的视觉文本图像，最先进的技术采用了一个由文本布局生成器和在生成的文本布局上进行条件约束的图像生成器组成的字形控制图像生成方法。然而，我们的研究发现这些模型仍然面临着三个主要的挑战，促使我们开发了一个测试平台来促进未来的研究。我们介绍了一个专门设计用于测试模型在生成具有冗长和复杂视觉文本的图像方面能力的基准，LenCom-Eval。随后，我们介绍了一个无需训练的框架来增强两阶段生成方法的效果。我们在LenCom-Eval和MARIO-Eval基准测试中检验了我们方法的有效性，并展示了在一系列评估指标上的显著改进，包括CLIPScore、OCR精度、召回率、F1分数、准确率和编辑距离分数。例如，我们提出的框架在LenCom-Eval和MARIO-Eval上分别将骨干模型TextDiffuser的OCR单词F1分数提高了23\%和13.5\%以上。我们的工作通过专注于生成具有长且罕见文本序列的图像，为该领域做出了独特的贡献，这是现有文献尚未开发的领域。

本论文旨在解决文本到图像生成中的一个问题：文本中的拼写错误会影响生成图像中的文本准确性。为了解决这个问题，研究者提出了一种基于glyph控制的图像生成方法。然而，这种方法仍然存在三个主要挑战，需要进一步研究。为了促进未来研究，研究者设计了一个专门用于测试模型在生成复杂文本图像方面能力的基准测试LenCom-Eval，并提出了一个无需训练的框架来增强两阶段生成方法。

本文提出了一种无需训练的框架来增强文本到图像生成的两阶段方法，以解决长文本图像生成中的挑战。这种框架能够显著提高现有模型的性能，包括CLIPScore、OCR精度、召回率、F1分数、准确率和编辑距离等评估指标。

本文的亮点包括：提出了一个新的基准测试LenCom-Eval，用于测试模型在生成复杂文本图像方面的能力；提出了一种无需训练的框架，可以显著提高现有模型的性能；在两个基准测试集上进行了实验，并展示了显著的性能提升。

最近在这个领域中，还有一些相关研究，例如：《Generative Adversarial Text-to-Image Synthesis: A Review》、《Text-to-Image Generation: A Review》等。