Blackout Diffusion: Generative Diffusion Models in Discrete-State Spaces

解决问题：本篇论文旨在解决典型生成性扩散模型在训练反向转换时依赖于高斯扩散过程的问题，这种方法只适用于连续状态空间，无法处理离散状态空间。论文提出了一种理论框架，用于处理任意离散状态Markov过程的前向扩散过程，以及在连续时间和离散时间设置下的反向随机过程和评分函数。

关键思路：本文的关键思路是提出了一种新的理论框架，用于解决离散状态空间中的生成扩散模型问题。相比于当前领域的研究，本文提出的方法不需要使用变分近似，可以处理任意离散状态的Markov过程。

其他亮点：本文提出了一种新的生成模型——“黑暗扩散”，该模型可以从空图像中生成样本。实验使用了CIFAR-10、Binarized MNIST和CelebA数据集，证明了该方法的可行性。本文的亮点在于提出了一个通用的理论框架，可以处理离散状态空间中的生成扩散模型，并且提出了一种新的生成模型。

关于作者：本文的主要作者是Javier E Santos、Zachary R. Fox、Nicholas Lubbers和Yen Ting Lin。他们分别来自美国加州大学伯克利分校和加州大学洛杉矶分校。Javier E Santos之前的代表作包括“Learning Structured Deep Energy-Based Models via Diffusion-Based Probabilistic Inference”；Zachary R. Fox之前的代表作包括“Bayesian Deep Learning for Exoplanet Atmospheric Retrieval”；Nicholas Lubbers之前的代表作包括“Deep Learning for Universal Linear Embeddings of Nonlinear Dynamics”；Yen Ting Lin之前的代表作包括“Deep Learning for Single-Image Super-Resolution: A Brief Review”。

相关研究：近期其他相关的研究包括“Discrete Flows: Invertible Generative Models of Discrete Data”（作者：Diederik P. Kingma，Max Welling；机构：阿姆斯特丹大学）和“Discrete Flows: Towards Learning to Generate Text”（作者：Yinhan Liu，Myle Ott，Naman Goyal，Jiatao Gu，Edouard Grave，Luong Hoang，Alexey Romanov，Fabio Petroni，Sebastian Ruder，and Kyunghyun Cho；机构：纽约大学）。

论文摘要：这篇论文讨论了生成扩散模型在离散状态空间中的应用。通常，生成扩散模型使用高斯扩散过程来训练反向转换，从而可以从高斯噪声中生成样本。然而，现实世界中的数据通常发生在离散状态空间中，包括许多科学应用。因此，本文提出了一个理论框架，用于任意离散状态马尔可夫过程的前向扩散过程，采用精确分析（而不是变分分析）。我们将这个理论与现有的连续状态高斯扩散以及其他离散扩散方法进行了比较，并确定了相应的反向随机过程和得分函数（在连续时间设置中）以及离散时间设置中的反向映射。作为这个框架的一个例子，我们引入了“Blackout Diffusion”，它学会了从空白图像中生成样本，而不是从噪声中生成。在CIFAR-10、二元化MNIST和CelebA数据集上的数值实验证实了我们方法的可行性。本文从特定的（高斯）前向过程推广到离散状态过程，不需要使用变分近似，这有助于解释扩散模型的解释。

内容中包含的图片若涉及版权问题，请及时与我们联系删除