Causal Diffusion Autoencoders: Toward Counterfactual Generation via Diffusion Probabilistic Models

DPM（Diffusion probabilistic models）已成为高质量图像生成的最先进技术，但是DPMs具有任意的噪声潜在空间，没有可解释或可控的语义。尽管已经有大量的研究工作来提高图像样本质量，但在使用扩散模型进行表示控制生成方面，研究工作还很少。具体来说，使用DPMs进行因果建模和可控反事实生成是一个未被充分探索的领域。在本文中，我们提出了CausalDiffAE，这是一个基于扩散的因果表示学习框架，可以根据指定的因果模型实现反事实生成。我们的关键思想是使用编码器从高维数据中提取高层次的语义有意义的因果变量，并使用反向扩散来建模随机变化。我们提出了一种因果编码机制，将高维数据映射到因果相关的潜在因子，并使用神经网络参数化潜在因子之间的因果机制。为了强制实现因果变量的解耦，我们制定了变分目标，并利用先前的辅助标签信息对潜在空间进行规范化。我们提出了一个基于DDIM的反事实生成程序，受到do-interventions的限制。最后，为了解决有限标签监督场景，我们还研究了CausalDiffAE的应用，当部分训练数据未标记时，也可以在推理过程中对生成反事实的强度进行粒度控制。我们在实验中证明，CausalDiffAE学习到了解耦的潜在空间，并能够生成高质量的反事实图像。

本文旨在提出一种基于扩散模型的因果表征学习框架，使得可以根据特定因果模型生成可控的反事实图像。

文章提出了CausalDiffAE，一种基于扩散模型的因果表征学习框架，通过使用编码器从高维数据中提取高级语义有意义的因果变量，并使用反向扩散模型建模随机变化。文章提出了一种因果编码机制，将高维数据映射到因果相关的潜在因素，并使用神经网络参数化潜在因素之间的因果机制，以实现因果变量的解缠绕。文章还提出了一种基于DDIM的反事实生成过程，以进行do-interventions。文章还研究了当部分训练数据未标记时，CausalDiffAE的应用情况，这也使得可以在推断期间对生成反事实进行干预的强度进行粒度控制。

文章通过实验证明，CausalDiffAE学习到了一个解缠绕的潜在空间，并且能够生成高质量的反事实图像。

最近的相关研究包括：1）因果推理和因果学习；2）扩散模型和随机微分方程；3）可解释的生成模型和表征学习。