Tackling the Singularities at the Endpoints of Time Intervals in Diffusion Models

大多数扩散模型假定反向过程服从高斯分布。然而，这种近似尚未得到严格验证，特别是在奇点处，即t=0和t=1的位置。不正确处理这些奇点会导致应用中的平均亮度问题，并限制生成极端亮度或暗度图像的能力。我们主要从理论和实践的角度来解决奇点问题。首先，我们建立了反向过程逼近的误差界限，并展示了它在奇点时间步长处的高斯特性。基于这个理论洞察力，我们确认了t=1处的奇点是有条件可除的，而t=0处的奇点是固有属性。基于这些重要结论，我们提出了一种新的即插即用方法SingDiffusion来解决初始奇点时间步长采样问题，它不仅可以有效地解决各种扩散模型的平均亮度问题，而且可以增强它们在实现显著更低的FID分数方面的生成能力。代码和模型已在https://github.com/PangzeCheung/SingDiffusion上发布。

论文试图解决的问题是扩散模型中的奇异性问题，特别是在t=0和t=1时出现的问题。该问题会影响应用中的平均亮度，并限制生成极端亮度或暗度的图像。

论文提出了一种新的插入式方法SingDiffusion来处理初始奇异时间步采样，有效解决了广泛扩散模型中的平均亮度问题，同时提高了生成能力。

论文首先建立了反向过程逼近的误差界限，并展示了在奇异时间步时其高斯特性。基于这一理论洞察，论文确认了t=1时的奇异性是可条件移除的，而t=0时是固有属性。然后，论文提出了SingDiffusion，这是一种新的插入式方法，用于处理初始奇异时间步采样，可以有效地解决广泛扩散模型中的平均亮度问题，并提高了生成能力。论文在多个数据集上进行了实验，并公开了代码和模型。

最近的相关研究包括PixelCNN、RealNVP、Glow等基于流的生成模型，以及GAN和VAE等其他生成模型。