Emergence and Evolution of Interpretable Concepts in Diffusion Models

扩散模型已成为文本到图像生成的首选方法，通过称为逆向扩散的过程从噪声中生成高质量图像。理解逆向扩散过程的动力学对于引导生成过程并实现高样本质量至关重要。然而，由于扩散模型的黑箱性质及其复杂、多步骤的生成过程，其内部运作机制在很大程度上仍然是个谜。机械可解释性（MI）技术，例如稀疏自编码器（SAEs），通过对其内部表示进行细致分析，旨在揭示模型的工作原理。这些 MI 技术已经在理解和引导大规模语言模型的行为方面取得了成功。然而，SAEs 的巨大潜力尚未被用于深入了解扩散模型复杂的生成过程。在这项工作中，我们利用 SAE 框架来研究一个流行的文本到图像扩散模型的内部运作，并在其激活中发现了多种可被人理解的概念。有趣的是，我们发现即使在第一个逆向扩散步骤完成之前，通过查看已激活概念的空间分布，就可以出人意料地准确预测场景的最终构图。此外，超越相关性分析，我们展示了所发现的概念对模型输出具有因果影响，并可以用来引导生成过程。我们设计了干预技术以操纵图像的构图和风格，并证明了以下几点：（1）在扩散的早期阶段，图像构图可以得到有效控制；（2）在扩散的中间阶段，图像构图已确定，但风格干预仍然有效；（3）在扩散的最后阶段，只有细微的纹理细节可以发生变化。

该论文试图解决理解扩散模型内部工作原理的问题，特别是通过揭示其生成过程中的人类可解释概念。这是一个相对较新的问题，因为尽管扩散模型在文本到图像生成方面表现出色，但其复杂性和黑箱性质使得对其机制的理解仍然有限。

论文的关键思路是利用稀疏自动编码器（SAE）框架来分析和解释扩散模型的内部表示。相比当前领域中主要依赖于观察模型输出的研究方法，这篇论文深入挖掘了模型激活中的可解释概念，并证明这些概念可以在生成的不同阶段对图像进行有效控制。这种方法不仅提供了对扩散模型更深层次的理解，还展示了如何通过干预特定概念来引导生成过程。

论文展示了几个值得注意的亮点：1）即使在反向扩散的第一步之前，也可以通过分析激活的概念分布预测最终图像的组成；2）提出了针对扩散过程不同阶段的干预技术，分别用于控制图像组成、风格和细节；3）实验设计系统化，验证了发现的概念对模型输出的因果影响。此外，论文使用了流行的文本到图像扩散模型作为研究对象，但未明确提及是否开源代码或数据集。未来可以进一步探索更多类型的扩散模型以及将此方法应用于其他模态的数据。

近年来，关于扩散模型的研究逐渐增多，例如《Denoising Diffusion Probabilistic Models》介绍了扩散模型的基本理论框架，《GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models》则探讨了基于文本指导的高分辨率图像生成。同时，关于模型解释性的研究也在发展，如《Interpreting Neural Networks with Neuron Activations》提出了通过神经元激活模式解释网络行为的方法。而本文结合了这两种方向，首次尝试用SAE技术解读扩散模型的具体生成机制。