Improving Diffusion Models's Data-Corruption Resistance using Scheduled Pseudo-Huber Loss

本文研究了一种替代扩散损失函数，可以在训练数据中保留生成数据的高质量，同时对异常值具有鲁棒性。我们建议使用带有时间相关参数的伪Huber损失函数，以允许在最易受干扰的早期逆扩散步骤上进行鲁棒性和在最终步骤上进行细节恢复之间的权衡。我们证明，带有时间相关参数的伪Huber损失在图像和音频领域中的损坏数据集上表现更好。此外，我们提出的损失函数可以潜在地帮助扩散模型抵抗数据集的污染，而不需要与传统训练算法相比需要数据过滤或净化。

论文提出了一种新的扩散损失函数，旨在解决扩散模型在训练数据中存在异常值的问题。

论文提出使用带有时间依赖参数的伪Huber损失函数，以在早期的逆扩散步骤中保持鲁棒性，在最终步骤中恢复细节。

论文展示了伪Huber损失函数在图像和音频领域的表现优于传统的L2损失函数，能够帮助扩散模型抵抗数据集污染而不需要数据过滤或净化。

最近的相关研究包括："Diffusion Models Beat GANs on Image Synthesis"，"Improved Techniques for Training Score-Based Generative Models"等。