Causal Diffusion Autoencoders: Toward Counterfactual Generation via Diffusion Probabilistic Models

DPM（Diffusion probabilistic models）已成为高质量图像生成的最先进技术，但其具有任意的噪声潜空间，没有可解释或可控的语义。虽然已经有大量的研究工作致力于提高图像样本质量，但在使用扩散模型进行表示控制的生成方面却很少有研究。具体而言，使用DPM进行因果建模和可控反事实生成是一个未被充分探索的领域。在本文中，我们提出了CausalDiffAE，一种基于扩散的因果表示学习框架，以实现根据指定的因果模型生成反事实。我们的关键思想是使用编码器从高维数据中提取高层次的、有语义意义的因果变量，并使用反向扩散对随机变化进行建模。我们提出了一种因果编码机制，将高维数据映射到因果相关的潜在因子，并使用神经网络参数化潜在因子之间的因果机制。为了强制实现因果变量的解缠，我们制定了一个变分目标，并利用先验中的辅助标签信息来规范化潜在空间。我们提出了一种基于DDIM的反事实生成过程，受到do-interventions的限制。最后，为了解决有限标签监督场景，我们还研究了在部分训练数据未标记的情况下应用CausalDiffAE的应用，这也使得在推理过程中生成反事实时对干预强度进行细粒度控制成为可能。我们实证表明，CausalDiffAE学习到了一个解缠的潜在空间，并且能够生成高质量的反事实图像。

论文提出了CausalDiffAE，一种基于扩散模型的因果表示学习框架，旨在实现根据指定因果模型的可控反事实生成。该论文试图解决DPMs具有无可解释或可控语义的任意噪声潜空间的问题，以及控制因果建模和可控反事实生成的不足。

论文的关键思路是使用编码器从高维数据中提取高级别的语义有意义的因果变量，并使用反向扩散建模随机变化。论文提出了一种因果编码机制，将高维数据映射到因果相关的潜在因素，并使用神经网络参数化潜在因素之间的因果机制。为了强制实现因果变量的分离，论文制定了一种变分目标，并利用先验中的辅助标签信息来规范潜空间。论文提出了一种基于DDIM的反事实生成过程，可进行干预操作。

论文的亮点包括：1）提出了一种新的因果表示学习框架，可以生成高质量的反事实图像；2）研究了在有限标签监督情况下的CausalDiffAE应用，使生成反事实过程中的干预强度可以进行精细控制；3）通过实验表明，CausalDiffAE可以学习到分离的潜在空间，并能够生成高质量的反事实图像。

最近在这个领域中，还有一些相关的研究，如：1）《CausalGAN: Learning Causal Implicit Generative Models with Adversarial Training》；2）《CausalVAE: Disentangled Representation Learning via Neural Structural Causal Models》；3）《Causal Inference by Identifying Influential Subsets with Deep Learning》等。