Normalizing Flows are Capable Generative Models

正规流（NFs）是针对连续输入的基于似然的模型。 它们在密度估计和生成建模任务中都展示了令人鼓舞的结果，但在近年来并未受到太多关注。 在这项工作中，我们证明了NFs比之前认为的更强大。 我们提出了TarFlow：一种简单且可扩展的架构，能够实现高性能的NF模型。 可以将TarFlow视为Masked Autoregressive Flows（MAFs）的Transformer变体：它由图像块上的自回归Transformer块堆叠而成，并在层之间交替自回归方向。 TarFlow可以端到端地进行训练，能够直接对像素进行建模和生成。 我们还提出了三种关键技术来提高样本质量：训练期间的高斯噪声增强、训练后的去噪过程以及在类别条件和无条件设置下均有效的引导方法。 综合这些技术，TarFlow在图像似然估计方面取得了新的最先进结果，大幅超越了之前的最佳方法，并首次以独立的NF模型生成了与扩散模型质量和多样性相当的样本。 我们的代码可在https://github.com/apple/ml-tarflow 获取。

该论文旨在解决连续输入数据的概率密度估计和生成建模任务，特别是通过改进归一化流模型（NFs）来提高其性能。虽然NFs在这些任务上表现出色，但近年来并未受到广泛关注。

论文提出了一种名为TarFlow的新架构，这是一种基于Transformer的Masked Autoregressive Flows（MAFs）变体。TarFlow通过在图像块上堆叠自回归Transformer块，并在层之间交替自回归方向，实现了高性能的NF模型。此外，论文还提出了三种技术来提高样本质量：高斯噪声增强、后训练去噪过程和有效的引导方法。

1. TarFlow在图像的似然估计任务上取得了新的最佳结果，显著超越了之前的方法。 2. TarFlow能够生成与扩散模型质量相当的样本，这是首次由独立的NF模型实现。 3. 论文提供了详细的实验设计，使用了多个标准数据集进行评估，并且代码已开源，可供研究人员复现和进一步研究。 4. 提出的技术不仅适用于图像生成，还可以扩展到其他连续数据的生成任务。

1. "Glow: Generative Flow with Invertible 1x1 Convolutions" - 这篇论文提出了Glow模型，通过引入可逆1x1卷积来改进归一化流模型。 2. "Improved Variational Inference with Inverse Autoregressive Flow" - 这篇论文介绍了Inverse Autoregressive Flow (IAF)，用于改进变分推断。 3. "Masked Autoregressive Flow for Density Estimation" - 这篇论文提出了Masked Autoregressive Flow (MAF)，是TarFlow的基础之一。 4. "Denoising Diffusion Probabilistic Models" - 这篇论文介绍了扩散模型，与TarFlow在生成任务上进行了对比。