Informed Correctors for Discrete Diffusion Models

离散扩散建模是在离散空间中建模和生成数据的有前途的框架。为了从这些模型中进行采样，不同的策略在计算和样本质量之间存在权衡。主要的采样策略是预测-校正 $\tau$-leaping，它使用离散化的预测步骤模拟连续时间生成过程，并通过校正步骤抵消离散化误差的积累。然而，对于吸收状态扩散，这是一类重要的离散扩散模型，标准的前向-后向校正器可能无法修正这些错误，导致样本质量不佳。为了解决这个问题，我们提出了一系列知情校正器，通过利用模型学习到的信息更可靠地抵消离散化误差。为了进一步提高效率，我们还提出了 $k$-Gillespie's，这是一种采样算法，更好地利用了每个模型评估，同时仍然享受 $\tau$-leaping 的速度和灵活性。在几个真实和合成数据集上，我们展示了使用知情校正器的 $k$-Gillespie's 可以以更低的计算成本可靠地产生更高质量的样本。

论文旨在解决离散扩散模型中的采样问题，特别是在吸收状态扩散模型中，标准的前向-后向校正器可能无法有效地修复离散化误差，导致采样质量不佳的问题。

论文提出了一种新的采样算法$k$-Gillespie's，它更好地利用了每个模型评估，同时仍然享有$ au$-leaping的速度和灵活性。此外，论文还提出了一种基于模型学习的信息校正器，更可靠地抵消离散化误差，从而提高了采样质量。

论文在几个真实和合成数据集上展示了$k$-Gillespie's采样算法和信息校正器的效果，证明了它们能够可靠地以更低的计算成本产生更高质量的样本。

最近的相关研究包括：1.基于$ au$-leaping的其他采样策略；2.其他离散扩散模型的采样算法。