Autoregressive Image Generation without Vector Quantization

传统观点认为，图像生成的自回归模型通常需要使用向量量化标记。我们发现，虽然离散值空间可以方便地表示分类分布，但它并不是自回归建模的必要条件。在这项工作中，我们提出使用扩散过程对每个标记的概率分布进行建模，这使我们能够在连续值空间中应用自回归模型。我们定义了扩散损失函数来建模每个标记的概率分布，而不是使用分类交叉熵损失。这种方法消除了需要使用离散值标记的必要性。我们在包括标准自回归模型和广义掩码自回归（MAR）变体在内的广泛案例中评估了其有效性。通过消除向量量化，我们的图像生成器在享受序列建模速度优势的同时取得了强大的结果。我们希望这项工作能激发在其他连续值领域和应用中使用自回归生成的动力。

本文试图通过扩展自回归模型来解决图像生成中的离散量化问题，提出了一种使用扩散过程模型的连续值自回归模型。

本文的关键思路是使用扩散过程模型来代替离散量化，从而实现在连续值空间中进行自回归建模。

本文的方法不需要使用离散量化，可以在连续值空间中进行自回归建模，而且速度快。作者在多个实验中证明了该方法的有效性，并且开源了代码。值得进一步研究的是如何将该方法应用到其他连续值领域中。

与本文相关的研究包括 PixelCNN++, Glow 和 VQ-VAE-2 等。