Improved Noise Schedule for Diffusion Training

扩散模型已成为生成视觉信号的事实标准选择。然而，训练单个模型以预测各种水平的噪声存在重大挑战，需要多次迭代并产生显著的计算成本。为了加快收敛速度，引入了各种方法，如损失加权策略设计和架构细化。在本研究中，我们提出了一种新的方法来设计噪声时间表，以增强扩散模型的训练。我们的关键见解是，对信噪比（SNR）的对数的重要性采样（理论上等同于修改后的噪声时间表）在增加样本频率时特别有益于训练效率。我们通过实验证明了我们的噪声时间表优于标准余弦时间表。此外，我们突出了我们的噪声时间表设计在ImageNet基准测试中的优势，表明设计的时间表始终有益于不同的预测目标。

论文旨在设计一种新的噪声计划方案，以提高扩散模型的训练效率。当前的扩散模型训练一个模型以预测各种噪声水平的噪声是具有挑战性的，需要多次迭代和大量计算。

论文提出了一种新的噪声计划方案，即重要性采样信噪比（logSNR）的对数，该方案在增加样本频率时特别有益于训练效率。

论文通过实验证明了新的噪声计划方案优于标准余弦计划方案，并在ImageNet基准上展示了设计方案的优点，表明所设计的方案能够一致地提高不同的预测目标。论文还提出了一些值得深入研究的方向，如如何在其他领域中使用设计方案。

最近的相关研究包括：《Denoising Diffusion Probabilistic Models》、《Improved Denoising Diffusion Probabilistic Models》等。