Benchmarking Counterfactual Image Generation

生成反事实图像对于理解变量之间的因果关系具有关键作用，可用于可解释性和生成无偏合成数据。然而，评估图像生成本身就是一个长期的挑战。评估反事实生成则更加困难，因为根据定义，反事实是没有可观察到的基本事实的假设情境。本文提出了一个新的综合框架，旨在对反事实图像生成方法进行基准测试。我们结合了度量指标，重点评估反事实的各个方面，如组成、有效性、干预的最小化和图像逼真度。我们评估了基于结构因果模型范例的三种不同条件图像生成模型类型的性能。我们的工作还配备了一个用户友好的Python包，可进一步评估和基准测试现有和未来的反事实图像生成方法。我们的框架可扩展到其他SCM和其他因果方法、生成模型和数据集。

论文旨在解决评估反事实图像生成方法的挑战，尤其是针对反事实情况下无可观察真实数据的评估问题。

论文提出了一个全面的评估框架，重点关注反事实图像的多个方面，包括组成、有效性、最小化干预和图像逼真度等，并评估了三种基于结构因果模型范式的条件图像生成模型的性能。

论文提出的评估框架是可扩展的，可以适用于更多的因果方法、生成模型和数据集。此外，论文还提供了一个易于使用的Python包，可以用于评估和基准测试现有和未来的反事实图像生成方法。

最近的相关研究包括：1）因果生成模型的发展和应用；2）反事实学习的理论和实践；3）图像生成的评估方法和度量标准等。