The Crystal Ball Hypothesis in diffusion models: Anticipating object positions from initial noise

扩散模型在文本到图像生成任务中取得了显著的成功，然而初始噪声的作用很少被探究。在本研究中，我们确定了初始噪声图像中的特定区域，称为触发补丁，在生成的图像中对于对象生成起着关键作用。值得注意的是，这些补丁是“通用的”，可以在不同位置、种子和提示之间进行泛化。具体而言，从一个噪声中提取这些补丁并注入到另一个噪声中会导致目标区域中的对象生成。我们通过分析生成图像中对象边界框的分散来确定这些补丁，从而开发了一种后验分析技术。此外，我们创建了一个数据集，其中包含用边界框标记的高斯噪声，对应于生成图像中出现的对象，并训练了一个检测器，从初始噪声中识别这些补丁。为了解释这些补丁的形成，我们揭示它们是高斯噪声中的异常值，并通过两个样本测试展示了它们的不同分布。最后，我们发现提示和触发补丁模式之间的错位可能导致图像生成失败。该研究提出了一种拒绝抽样策略来获得最佳噪声，旨在提高提示遵循性和图像生成的位置多样性。

本文旨在探讨初始噪声对文本到图像生成任务的影响，并识别出关键区域（触发器补丁），以提高图像生成的效果。同时，本文还尝试解释这些触发器补丁的形成机制。

本文通过分析生成的图像中物体边界框的分散情况，发现初始噪声图像中的特定区域对于图像生成中的物体生成起到关键作用，这些区域被称为触发器补丁。本文通过创建一个数据集，训练一个检测器来识别这些触发器补丁，并提出了一种拒绝采样策略来获得最佳噪声，以提高图像生成的质量。

本文的亮点包括：1.识别出了影响图像生成的关键区域（触发器补丁）；2.提出了一种检测器来自动识别这些区域；3.提出了一种拒绝采样策略来获得最佳噪声；4.通过实验验证了本文方法的有效性。

在相关研究方面，最近在文本到图像生成任务中，也有一些关于噪声的研究，例如《Controllable Text-to-Image Generation》、《Generative Adversarial Text-to-Image Synthesis》等。