STARFlow: Scaling Latent Normalizing Flows for High-resolution Image Synthesis

我们提出了 STARFlow，这是一种基于标准化流的可扩展生成模型，在高分辨率图像合成任务中表现出色。STARFlow 的核心是 Transformer 自回归流（TARFlow），它将标准化流的强大表达能力与自回归 Transformer 的结构化建模能力相结合。我们首先证明了 TARFlow 在建模连续分布方面的理论通用性。在此基础上，我们引入了几项关键的架构和算法创新，以显著提高其可扩展性：(1) 深浅结合的设计，其中深层 Transformer 模块捕捉大部分模型的表示能力，而少量浅层 Transformer 模块在计算高效的同时提供显著增益；(2) 在预训练自动编码器的潜在空间中进行建模，这种方法比直接在像素级别建模更为有效；(3) 一种新颖的引导算法，能够大幅提升样本质量。至关重要的是，我们的模型仍然是一个端到端的标准化流，能够在连续空间中进行精确的最大似然训练，而无需离散化。STARFlow 在类别条件和文本条件图像生成任务中均展现出竞争力，其样本质量接近最先进的扩散模型。据我们所知，这是首个成功展示标准化流在如此规模和分辨率下有效运行的工作。

STARFlow试图解决高分辨率图像生成的问题，特别是在类条件和文本条件下的图像生成任务中，验证是否可以通过正常化流模型实现与当前最先进的扩散模型相媲美的样本质量。这是一个具有挑战性的问题，因为传统正常化流模型在处理高分辨率图像时面临计算复杂性和表达能力的限制。

STARFlow的核心思路是将Transformer的自回归特性与正常化流结合，提出Transformer Autoregressive Flow（TARFlow）。此外，通过引入深度-浅层设计、预训练自动编码器的潜在空间建模以及新型指导算法，STARFlow显著提高了可扩展性和样本质量。相比其他研究，STARFlow保持了端到端正常化流的特点，支持连续空间中的精确最大似然训练，而无需离散化。

1. 提出了理论证明TARFlow对连续分布的通用性；2. 深度-浅层架构设计有效平衡了计算效率与模型容量；3. 在潜在空间中进行建模优于直接像素级建模；4. 新型指导算法显著提升样本质量；5. STARFlow在类条件和文本条件图像生成任务中表现出接近扩散模型的性能。论文使用了标准数据集（如CIFAR-10、ImageNet等），并开源了代码，为未来研究提供了基础。

最近的相关研究包括：1. Diffusion模型系列（如Denoising Diffusion Probabilistic Models, DDPM）在图像生成领域取得突破；2. VQ-VAE和Autoencoder KL用于潜在空间建模的研究；3. StyleGAN系列在高分辨率图像生成中的应用；4. Normalizing Flows领域的其他创新（如Glow、RealNVP等）。相关论文标题包括《Denoising Diffusion Probabilistic Models》、《High-Resolution Image Synthesis with Latent Diffusion Models》和《Glow: Generative Flow with Invertible 1x1 Convolutions》。