Direct Ascent Synthesis: Revealing Hidden Generative Capabilities in Discriminative Models

我们证明了判别模型本身蕴含着强大的生成能力，挑战了判别模型和生成模型之间固有的区别。我们的方法，直接上升合成（DAS），通过多分辨率优化CLIP模型的表示来揭示这些潜在的能力。传统的方法尝试产生对抗性模式，而DAS通过在多个空间尺度（从1x1到224x224）上分解优化过程，实现了高质量的图像合成，且不需要额外的训练。这种方法不仅支持多样化的应用——从文本到图像生成再到风格迁移——还保持了自然图像的统计特性（$1/f^2$谱），并引导生成过程远离不稳定的对抗性模式。我们的结果表明，标准的判别模型编码了比之前所认知的更为丰富的生成知识，为模型解释性和对抗样本与自然图像合成之间的关系提供了新的视角。

这篇论文试图挑战并重新定义传统上对判别模型和生成模型之间区别的理解。它验证了判别模型是否具有未被发掘的生成能力，这是一个相对新颖的问题，因为它打破了两者之间的固有界限。

关键思路在于提出了一种名为Direct Ascent Synthesis (DAS)的方法，该方法通过多分辨率优化CLIP模型表示来揭示判别模型中的潜在生成能力。这种方法不同于传统的反演技术，它可以在不进行额外训练的情况下实现高质量的图像合成，并且避免产生对抗性模式。

该研究展示了多种应用的可能性，包括文本到图像生成和风格迁移。此外，实验设计涉及从1x1到224x224的不同空间尺度上的优化分解，确保了自然图像统计特性的保持（如$1/f^2$谱）。作者还开源了部分代码，使得社区可以进一步探索这一领域的潜力。未来的研究可以集中在更深入地理解这些模型内部的工作机制以及如何改进现有的生成算法。

最近的相关研究包括《Exploring the Limits of Transfer Learning with a Unified Text-to-Image Model》、《Generative Pretraining from Pixels》等。这些工作都在探索如何利用预训练模型或特定架构来增强图像生成任务的表现。