ELBO-T2IAlign: A Generic ELBO-Based Method for Calibrating Pixel-level Text-Image Alignment in Diffusion Models

扩散模型在图像生成方面表现出色。近期研究表明，这些模型不仅能够生成高质量的图像，还能通过注意力图或损失函数编码文本-图像对齐信息。这种信息对于多种下游任务非常有价值，包括分割、文本引导的图像编辑和组合式图像生成。然而，当前的方法过度依赖于扩散模型中完美文本-图像对齐的假设，而实际情况并非如此。在本文中，我们提出使用零样本指代图像分割作为代理任务，来评估流行扩散模型在像素级图像与类别级文本对齐方面的表现。我们从训练数据偏差的角度深入分析了扩散模型中的像素-文本错位问题，并发现错位主要出现在包含小型、被遮挡或稀有对象类别的图像中。因此，我们提出了 ELBO-T2IAlign 方法，这是一种简单而有效的方式，基于似然性的证据下界（ELBO）校准扩散模型中的像素-文本对齐。我们的方法无需训练且具有通用性，无需识别错位的具体原因，并能很好地适用于各种扩散模型架构。我们在常用的图像分割和生成基准数据集上进行了大量实验，验证了所提出的校准方法的有效性。

该论文试图解决扩散模型中像素级图像与类别级文本对齐的不准确性问题。尽管扩散模型在生成高质量图像方面表现出色，但其假设的完美文本-图像对齐并不总是成立，尤其是在处理小尺寸、遮挡或稀有对象类别的图像时。这是一个值得注意的问题，因为现有方法通常依赖于这一假设。

论文提出了一种名为ELBO-T2IAlign的方法，通过基于证据下界（ELBO）校准像素-文本对齐，而无需重新训练模型。这种方法是通用且无训练的，能够适用于不同的扩散模型架构，并解决了由于训练数据偏差导致的对齐问题。相比其他方法，它避免了明确识别对齐错误的具体原因，从而简化了校正过程。

论文引入零样本指代图像分割作为评估扩散模型对齐质量的代理任务；通过深入分析发现，对齐误差主要出现在小尺寸、遮挡或稀有对象上；实验在多个常用基准数据集上验证了方法的有效性。此外，该方法具有良好的泛化能力，且无需额外训练。遗憾的是，摘要未提及代码是否开源，但其简单性和通用性为未来研究提供了良好基础，例如探索更复杂的校准机制或将其扩展到多模态任务中。

相关研究包括：1) 文本引导图像编辑中的对齐优化方法；2) 基于注意力机制的文本-图像匹配改进技术；3) 使用对比学习增强扩散模型语义一致性的研究。例如，《Improving Text-to-Image Synthesis with Semantic Alignment》和《Contrastive Learning for Text-Guided Image Editing》等论文均探讨了类似主题，但这些方法通常需要额外训练或特定调整，而ELBO-T2IAlign则提供了一种无训练的替代方案。