GlyphDraw2: Automatic Generation of Complex Glyph Posters with Diffusion Models and Large Language Models

海报在营销和广告中扮演着至关重要的角色，通过增强视觉传达和品牌可见性，对工业设计做出了重要贡献。随着可控文本到图像扩散模型的最新进展，更加简洁的研究现在正在专注于在合成图像中呈现文本。尽管文本呈现的准确性有所提高，但端到端海报生成领域仍未得到充分探索。这项复杂的任务涉及在文本呈现准确性和自动化布局之间取得平衡，以产生具有可变宽高比的高分辨率图像。为了解决这个挑战，我们提出了一种端到端文本呈现框架，采用基于对齐学习的三重交叉注意机制，旨在在详细的背景环境中创建精确的海报文本。此外，我们引入了一个高分辨率数据集，其图像分辨率超过1024像素。我们的方法利用SDXL架构。广泛的实验验证了我们的方法生成具有复杂和具有环境背景的海报图像的能力。代码将在https://github.com/OPPO-Mente-Lab/GlyphDraw2上提供。

本论文旨在解决海报生成的端到端问题，即在保证文本渲染准确性的同时，实现自动化布局，生成具有可变长宽比的高分辨率图像。

论文提出了一种三重交叉注意力机制的端到端文本渲染框架，采用对齐学习，能够在丰富的背景下精确生成海报文本。此外，还引入了一个高分辨率数据集，采用SDXL架构进行实验验证。

论文的亮点包括提出了一个端到端的文本渲染框架，采用三重交叉注意力机制，能够生成具有丰富背景的复杂海报图像。此外，还引入了一个高分辨率数据集，并提供了开源代码。

近期在这个领域中，还有一些相关的研究，例如：《Generative Adversarial Networks for End-to-End Chinese Handwriting Synthesis》、《Neural Text Style Transfer with Examples》等。