FontStudio: Shape-Adaptive Diffusion Model for Coherent and Consistent Font Effect Generation

最近，现代基于扩散的文本生成图像模型的应用，用于创建艺术字体，传统上是专业设计师的领域，引起了极大的兴趣。与大多数现有研究集中于生成艺术字体不同，我们的研究旨在解决一个新颖且更具挑战性的问题：多语言字体的文本效果生成。这项任务本质上要求在字体形状的画布限制内生成一致和连贯的视觉内容，而不是传统的矩形画布。为了解决这个任务，我们引入了一种新颖的形状自适应扩散模型，能够解释给定的形状，并在不规则画布内战略性地规划像素分布。为了实现这一点，我们策划了一个高质量的形状自适应图像文本数据集，并将分割掩模作为视觉条件，引导图像生成过程在不规则画布内进行。这种方法使传统的基于矩形画布的扩散模型能够根据提供的几何形状生成所需的概念。其次，为了保持多个字母的一致性，我们还提出了一种无需训练的形状自适应效果转移方法，用于将纹理从生成的参考字母转移到其他字母。关键的见解是建立字体效果噪声先验，并在连接的潜在空间中传播字体效果信息。我们的FontStudio系统的有效性通过用户偏好研究得到确认，即使与最新的无与伦比的商业产品Adobe Firefly相比，我们的系统也得到了明显的偏好（美学上的胜率为78%）。

本文旨在解决一个新的问题：如何在多语言字体中生成文本效果，即在字体形状的画布内生成连贯且一致的视觉内容。

本文提出了一种新的形状自适应扩散模型，能够解释给定的形状，并在不规则画布内策略性地规划像素分布。同时，通过将分割掩模作为视觉条件，来引导图像生成过程。此外，作者还提出了一种无需训练的形状自适应效果转移方法，以保持多个字母之间的一致性。

本文的亮点包括构建高质量的形状自适应图像-文本数据集，使用分割掩模来引导图像生成过程，提出了无需训练的形状自适应效果转移方法，并通过用户偏好研究证实了其系统的有效性。

最近的相关研究包括：生成艺术字体的现代扩散模型应用，以及生成艺术字体的大多数现有研究。