Understanding Hallucinations in Diffusion Models through Mode Interpolation

通俗地说，基于扩散过程的图像生成模型经常被称为“幻觉”，因为它们生成的样本在训练数据中从未出现过。但是这些幻觉从何而来？本文研究了扩散模型中的一种特定失效模式，称为模式插值。具体而言，我们发现扩散模型会在训练集中的相邻数据模式之间平滑“插值”，以生成完全超出原始训练分布支持范围的样本；这种现象导致扩散模型生成从未存在于真实数据中的人工产物（即幻觉）。我们系统地研究了这种现象的原因和表现形式。通过对1D和2D高斯数据集的实验，我们展示了扩散模型的解码器中出现不连续的损失景观会导致任何平滑逼近都会引起幻觉的区域。通过对具有不同形状的人工数据集的实验，我们展示了幻觉会导致生成从未存在过的形状组合。最后，我们展示了扩散模型实际上知道何时超出支持范围并产生幻觉。这是通过生成样本在最后几个反向采样过程中的高方差来捕获的。使用简单的指标来捕获这种方差，我们可以在生成时消除超过95％的幻觉，同时保留96％的支持样本。我们通过在MNIST和2D高斯数据集上进行实验，展示了这种幻觉（及其消除）对合成数据的递归训练的崩溃（和稳定化）的影响。我们在https://github.com/locuslab/diffusion-model-hallucination上发布了我们的代码。

本文研究了扩散模型中的一种失效模式，即模式插值，探究其导致的幻觉现象产生的原因和表现形式。

本文通过对高维数据的研究，发现扩散模型的解码器具有不连续的损失函数表面，使得模型在生成样本时会平滑地在训练集中的相邻数据模式之间进行插值，生成完全不在训练分布支持范围内的样本，从而导致幻觉现象的产生。作者提出了一种简单的度量方法来捕捉模型是否产生幻觉，从而成功地移除了95%的幻觉现象。

实验中使用了1D和2D高斯数据集以及人工数据集，证明了幻觉现象会导致生成从未出现过的形状组合。作者还展示了幻觉现象的影响，以及如何通过移除幻觉现象来解决这个问题。作者公开了代码。

与该论文相关的研究包括GAN模型中的模式崩溃问题和GAN中的模式崩溃问题的解决方法。