TextCenGen: Attention-Guided Text-Centric Background Adaptation for Text-to-Image Generation

2024年04月18日
  • 简介
    最近的文本生成图像技术已经从将文本适应于固定背景转变为在文本周围创建图像。传统方法通常只能在静态图像中生成布局以有效地放置文本。我们提出的方法,TextCenGen,引入了一种动态适应空白区域的文本友好型图像生成方法,强调文本为中心的设计和视觉和谐生成。我们的方法在T2I模型中采用了力导向注意力引导,以生成有策略地保留预定义文本区域的图像,即使是在黄金比例的文本或图标区域。通过观察跨注意力映射对物体位置的影响,我们使用力导向图方法检测和排斥冲突对象,结合空白区域平滑注意力的空间排除跨注意力约束。作为平面设计中的新任务,实验表明,TextCenGen比现有方法表现更好,具有更和谐的组合。此外,我们的方法显著提高了T2I模型在我们特别收集的提示数据集上的结果,迎合了不同的文本位置。这些结果表明了TextCenGen在创建更和谐和整合的文本图像组合方面的功效。
  • 图表
  • 解决问题
    本文旨在解决文本到图像生成中的文本布局问题,提出了一种动态适应空白区域的方法,强调文本为中心的设计和视觉和谐生成。
  • 关键思路
    本文提出了一种名为TextCenGen的方法,利用力导向注意力引导来生成图像,为预定义的文本区域战略性地保留空白区域,甚至适用于黄金比例的文本或图标。
  • 其它亮点
    本文实验结果表明,TextCenGen在创建更和谐和集成的文本-图像组合方面优于现有方法。此外,本文的方法显着提高了T2I模型在特定数据集上的结果,为不同的文本位置提供服务。
  • 相关研究
    最近的相关研究包括:《Text-to-Image Generation with Boundary-Seeking Generative Adversarial Networks》、《StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversarial Networks》、《Generative Adversarial Text-to-Image Synthesis》等。
PDF
原文
点赞 收藏 评论 分享到Link

沙发等你来抢

去评论