Playground v3: Improving Text-to-Image Alignment with Deep-Fusion Large Language Models

我们介绍了Playground v3 (PGv3)，我们最新的文本到图像模型，在多个测试基准上实现了最先进的性能，拥有出色的图形设计能力并引入了新的功能。与传统的文本到图像生成模型不同，它们依赖于预训练的语言模型，如T5或CLIP文本编码器，我们的方法完全将大型语言模型（LLMs）与一种新的结构相结合，该结构仅利用来自解码器专用LLM的文本条件。此外，为了提高图像字幕质量，我们开发了一种内部字幕生成器，能够生成具有不同细节水平的字幕，丰富了文本结构的多样性。我们还引入了一个新的基准CapsBench来评估详细的图像字幕性能。实验结果表明，PGv3在文本提示遵循、复杂推理和准确文本渲染方面表现出色。用户偏好研究表明，我们的模型在常见的设计应用程序，如贴纸、海报和标志设计中具有超人的图形设计能力。此外，PGv3还引入了精确的RGB颜色控制和强大的多语言理解等新功能。

PGv3是一种新的文本到图像生成模型，试图解决文本到图像生成中的一些问题，如图像和文本的一致性问题以及图像细节的不足问题。

PGv3的关键思路是将大型语言模型与一种新颖的结构完全集成，利用仅从解码器型号的语言模型中获取文本条件，并引入了一种新的标准CapsBench来评估详细的图像字幕性能。

PGv3在多个测试基准中实现了最先进的性能，具有出色的图形设计能力，并引入了新的功能，包括精确的RGB颜色控制和强大的多语言理解。实验使用了自行开发的字幕生成器和CapsBench数据集来评估性能。用户偏好研究表明，PGv3具有超人的图形设计能力，对于常见的设计应用程序，如贴纸、海报和标志设计，表现出色。

最近在这个领域中，还有一些相关的研究，如CLIP、T5等预训练语言模型在文本到图像生成中的应用。