Glyph-ByT5: A Customized Text Encoder for Accurate Visual Text Rendering

视觉文本渲染对于当代的文本到图像生成模型来说是一个根本性的挑战，核心问题在于文本编码器的不足。为了实现准确的文本渲染，我们确定了两个关键要求：字符意识和与字形的对齐。我们的解决方案涉及到定制一系列文本编码器，即Glyph-ByT5，通过使用精心策划的配对字形-文本数据集对字符感知的ByT5编码器进行微调。我们提出了一种有效的方法，将Glyph-ByT5与SDXL集成在一起，从而创建了Glyph-SDXL模型，用于设计图像生成。这显著提高了文本渲染的准确性，将其从不到20％提高到了近90％，在我们的设计图像基准测试中表现出色。值得注意的是，Glyph-SDXL现在具有文本段落渲染的能力，可以自动多行布局，实现了数十到数百个字符的高拼写准确性。最后，通过使用一小组高质量的照片般逼真的图像进行微调，展示了Glyph-SDXL在开放域真实图像中场景文本渲染能力的显著提高。这些令人信服的结果旨在鼓励进一步探索为各种各样的具有挑战性的任务设计定制的文本编码器。

本文试图解决文本到图像生成中的文本渲染问题，即如何提高文本编码器的准确性。

本文提出了一种基于自定义文本编码器Glyph-ByT5的方法，通过使用精心筛选的文本-字形数据集微调字符感知的ByT5编码器，从而提高文本渲染的准确性。同时，将Glyph-ByT5与SDXL相结合，创建了Glyph-SDXL模型，可用于设计图像生成和场景文本渲染。

本文的方法在设计图像生成中将文本渲染准确性从不到20％提高到近90％，并且在自动多行布局下实现了文本段落渲染的高拼写准确性。此外，通过使用一小组高质量的照片般逼真的图像进行微调，本文展示了在开放域真实图像中的场景文本渲染能力的显著提高。

近期的相关研究包括：1）DALL·E和CLIP的研究，这些模型使用文本描述生成图像；2）文本到图像生成中的其他方法，如StackGAN和AttnGAN。