Distributional Diffusion Models with Scoring Rules

扩散模型生成高质量的合成数据。它们通过定义一个连续时间的前向过程来运作，该过程逐渐向数据中添加高斯噪声，直到数据完全被破坏。对应的逆向过程则逐步将高斯样本“去噪”，最终生成来自数据分布的样本。然而，生成高质量输出需要大量的离散化步骤以获得对逆向过程的忠实近似。这既昂贵又促使了许多加速方法的发展。我们提出通过学习给定噪声版本的干净数据样本的后验分布（而不仅仅是该分布的均值）来实现样本生成。这使得我们可以在粗略的时间尺度上从逆向过程的概率转换中采样，从而显著加速推理过程，并且对输出质量的影响最小。这是通过用评分规则替换用于估计条件均值的标准回归损失来实现的。我们在图像和机器人轨迹生成任务上验证了我们的方法，在少量离散化步骤的情况下，我们始终优于标准的扩散模型。

该论文旨在解决扩散模型生成高质量输出时需要大量离散化步骤的问题，这导致了计算成本高昂。这是一个在扩散模型领域内已有的问题，但本研究提出了新的解决方案来加速样本生成过程。

关键思路是通过学习干净数据样本给定其噪声版本的后验分布，而不是仅学习该分布的均值。这种方法允许在粗略的时间尺度上从反向过程的概率转换中采样，从而显著加速推理过程，同时最小化输出质量的损失。相比现有方法，它采用评分规则代替标准回归损失来估计条件均值。

实验设计包括图像和机器人轨迹生成任务，在这些任务中，新方法在较少的离散化步骤下始终优于标准扩散模型。此外，作者还展示了如何使用评分规则改进样本生成的质量和效率。虽然摘要中未提及，但从Andrew Ng的角度推测，开源代码和具体使用的数据集将是进一步验证研究结果的重要资源。值得继续深入研究的方向可能包括探索更多类型的数据集上的应用及优化评分规则。

最近在这个领域的相关研究包括：1.《Improved Techniques for Training Score-based Generative Models》；2.《Score-Based Generative Modeling through Stochastic Differential Equations》；3.《Denoising Diffusion Probabilistic Models》等。这些研究都致力于提高扩散模型的效率和效果，而本文提出的通过学习后验分布来加速推理的方法为这一领域的研究提供了新的视角。