Diffusion Autoencoders are Scalable Image Tokenizers

将图像编码为紧凑的视觉表示是学习高效且高质量图像生成模型的关键步骤。我们提出了一种简单的扩散编码器（DiTo），用于学习用于图像生成模型的紧凑视觉表示。我们的核心见解是，单一的学习目标——扩散L2损失，可以用于训练可扩展的图像编码器。由于扩散技术已经广泛应用于图像生成，这一见解极大地简化了此类编码器的训练过程。相比之下，当前最先进的编码器依赖于经验性找到的启发式方法和损失函数组合，因此需要一个复杂的训练方案，该方案依赖于非平凡地平衡不同的损失函数和预训练的监督模型。我们展示了设计决策及其理论依据，使我们能够扩展DiTo以学习具有竞争力的图像表示。实验结果表明，DiTo是一个更简单、可扩展且自监督的替代方案，相较于当前受监督的最先进图像编码器，DiTo在图像重建和下游图像生成任务中达到了竞争性或更好的质量。

该论文试图解决图像生成模型中高效且高质量的紧凑视觉表示学习问题。具体来说，它旨在简化和改进当前最先进的图像分词器的训练过程，这些分词器通常依赖于复杂的损失函数组合和预训练的监督模型。

关键思路是引入了一种简单的扩散分词器（DiTo），它仅使用单一的学习目标——扩散L2损失，来训练可扩展的图像分词器。这一方法简化了训练过程，并避免了复杂损失函数和预训练模型的需求，使得分词器训练更加简单、可扩展和自监督。

论文展示了DiTo在图像重建和下游图像生成任务中的竞争力或优越性。实验设计验证了DiTo的有效性，证明其能够学习到与现有最佳方法相媲美甚至更好的图像表示。此外，该方法完全自监督，不需要预训练的监督模型。论文还提供了理论支持以解释为何扩散L2损失能有效用于此目的。值得注意的是，作者开源了代码和模型，方便后续研究者复现结果并进一步探索。

最近在这个领域内，其他相关研究包括《DALL·E: Creating Images from Text》、《Improved Techniques for Training Score-based Generative Models》以及《VQ-VAE-2: A Continuation of VQ-VAE with Larger Scale and Better Performance》。这些研究都致力于提高图像生成的质量和效率，但大多依赖于复杂的训练机制或预训练模型。相比之下，DiTo提供了一个更为简洁和直接的方法。