SceneTextGen: Layout-Agnostic Scene Text Image Synthesis with Diffusion Models

虽然扩散模型已经显著提高了图像生成的质量，但它们在准确和连贯地呈现图像内文本方面的能力仍然是一个重大挑战。传统的基于扩散的场景文本生成方法通常受制于中间布局输出的依赖性。这种依赖性通常导致文本样式和字体的多样性受到限制，这是由于布局生成阶段的确定性本质限制所导致的。为了解决这些挑战，本文引入了SceneTextGen，这是一种新颖的基于扩散的模型，专门设计用于避免预定义的布局阶段的需要。通过这样做，SceneTextGen促进了更自然和多样化的文本表示。SceneTextGen的新颖之处在于它集成了三个关键组件：一个用于捕捉详细排版属性的字符级编码器，加上一个字符级实例分割模型和一个单词级的识别模型，以解决不需要的文本生成和次要字符不准确的问题。我们通过展示在不同的公共视觉文本数据集上生成图像的改进字符识别率来验证我们方法的性能，与标准扩散基础方法和文本特定方法相比。

本文旨在解决场景文本生成中存在的问题，即传统扩散模型对于准确和连贯地渲染文本的能力不足。传统方法通常依赖于中间布局输出，这种依赖性经常导致文本样式和字体的多样性受到限制。

本文提出了一种新的扩散模型——SceneTextGen，旨在规避预定义布局阶段的需要。通过这样做，SceneTextGen实现了更自然和多样化的文本表示。SceneTextGen的创新之处在于它集成了三个关键组件：用于捕捉详细排版属性的字符级编码器，与字符级实例分割模型和单词级定位模型相结合，以解决不需要的文本生成和小字符不准确性的问题。

本文通过在不同的公共视觉文本数据集上展示生成图像上的改进字符识别率，验证了我们方法的性能，相比标准扩散方法和文本特定方法，我们的方法表现更好。值得关注的是，本文使用了字符级编码器和字符级实例分割模型，这是该领域的一项创新工作。

最近在这个领域中，还有一些相关的研究，如：《TextSR: Content-aware Text Super-Resolution Guided by Recognition》、《TextFuseNet: Scene Text Image Super-resolution using Fused Text Regions》等。