ICML 2024 | 如何在含有隐变量的环境中识别因果关系？

论文链接：

https://arxiv.org/abs/2305.05281

区分因果关系与相关关系是许多科学研究中的根本问题，例如经济学、医学和通用人工智能。因果关系消除了混淆因子、中介因子等引入的伪相关，因而能帮助我们做出更可靠的决策。

在因果充分性假设（即环境中不含未观测的隐变量）下，因果发现可以通过检验条件独立性的方法来判断因果关系是否存在。然而，当环境中存在隐变量时，这一方法不再准确。这是由于我们无法收集隐变量的数据、也无法对其进行干预。因此，我们无法消除隐变量中的混淆因子、中介因子等引入的伪相关性。

为了解决这一问题，Pearl 等人^[1]引入了代理变量（图1）的概念。通常，代理变量可以是对隐变量的一种含噪声观测、或是隐变量的可观测后代。通过代理变量，我们可以调整隐变量引入的伪相关性，从而实现可识别性。然而，Pearl 等人^[1] 和 Miao 等人^[2,3]提出的代理变量调整方法局限于离散变量、或依赖于很强的参数化假设，限制了代理变量的应用。

图1：基于代理变量的因果发现。目标为判断  是否为  的因，  表示隐变量，  表示  的代理变量。图 (a) 和图 (b) 分别表示隐变量  是一个混淆因子和一个中介因子的情形。本文的方法不仅限于这些因果图，而是适用于任何满足  的情况。

本文提出了一中基于代理变量的假设检验，可以在不依赖参数化假设的情况下，识别连续变量之间的因果关系。具体来说，本文的策略是寻找一种恰当的离散化方法，使得被离散变量之间的概率矩阵在零假设下满足一个线性方程组。该方程组的系数向量（Coefficient Vector）是可识别的，因而，我们可以通过线性回归的残差的大小来判断零假设是否成立。为了实现这一目标，我们首先引入了一个离散化过程，该过程能确保离散后变量之间的概率矩阵满足满秩约束，进而保证线性方程系数向量的可识别性。其次，我们分析了离散化过程引入的误差。在平滑性条件下，我们说明这一误差可以被控制到任意小。最后，基于上述分析，我们提出了一个基于线性回归残差的假设检验统计量，并分析了渐进意义下假设检验的显著性水平和检定力。

最后，本文指出了所述方法在时间序列因果发现中的一种应用，即可以利用未观测时间变量的可观测后代作为其代理变量，实现对时间序列因果图的识别。该结论是项目组 NeurIPS 2023 论文Causal Discovery from Subsampled Time Series with Proxy Variables 的一部分。

问题设定。我们考虑判断两个变量  和  之间的因果关系。系统中还存在一个不可观测的隐变量  ，  可以是  和  之间的充分混淆因子或中介因子。在这种情况下，由于  引入的偏移，  和  之间的因果关系是不可识别的。为了调整这一偏移，我们假设  有一个代理变量  满足  。在实际情景中，  可以是  的含噪声观测或者其可观测后代。图1进一步解释了  之间的关系。

在 Markovian 和 Faithfulness 条件下，识别  和  之间的因果关系可以等价地转换为利用代理变量  检验以下的因果零假设： 接受零假设  说明因果关系不存在，而拒绝零假设则说明存在因果关系。

值得注意的是，我们的方法能够判断  和  之间是否存在因果关系，因果关系的指向则可以通过先验知识如时序关系、无有向环约束，或其他性质如不对称性、稳定性获得。

Miao 等人^[2]所述的方法。对于离散变量，Miao 等人提出了一种基于代理变量  的假设检验过程。具体来说，他们将零假设  与以下的线性方程联系起来：其中  是响应向量，  是设计矩阵，  是系数向量。

这种联系是由于通过假设矩阵  满秩以及  可逆，在零假设下，公式 (1) 描述的线性系统成立且系数向量可识别。因此，可以通过观察线性回归的残差来判断零假设是否成立。

尽管上述方法已被证明对离散变量是有效的，如何将其推广到连续变量是一个困难的问题。这是由于公式 (2) 依赖的条件独立性在离散化后可能不再成立。此外，为了保证系数向量的可识别性，我们应该设计一个恰当的离散化过程使得  在离散化后仍保有满秩特性。我们将在后文中逐一具体解决这些问题。

* 本章中的假设、示例、命题等编号均对应原文。

在本章中，我们介绍一种基于离散化的假设检验流程。这一流程的核心是寻找一种离散化方法来建立公式 (1) 的可识别性。

为了实现这一目标，我们首先引入一种离散化方法，该方法在完备性条件（Completeness）下可以保证离散化后变量  和  满足矩阵秩的约束。其次，我们分析了离散化可能引入的误差。在平滑性条件下，我们说明这些误差可以通过细致的离散化被控制到任意小。基于上述理论，我们引入一个统计量进行假设检验，并分析了其显著性水平和检定力。

我们首先介绍一种离散化方法来建立公式 (1) 所需的可识别性。该方法依赖于以下的完备性假设：

假设 4.1（完备性）。假设条件分布  和  是完备的，即对于任何有界函数  假设为了理解假设 4.1 对我们方法的作用，注意当  是离散变量时，  的完备性意味着条件概率矩阵  满秩，这满足了 Miao 等人方法的要求；当  是连续变量时，假设 4.1 确保了存在一种  的离散化  使得  行满秩。此外，结合  的完备性，还可以确保存在  的离散化  使得  可逆，这就建立了公式 (1) 所需的可识别性。

值得注意的是，假设 4.1 所描述的完备性被很多工作类似的采用^[2,3]，它的成立基本上只要求结构方程中的外源变量有非零的描述函数。

示例 4.2（满足完备性的加性噪声模型）。假设  满足加性噪声模型（Additive Noise Model, ANM）  ，  ，其中  表示外源变量。如果  可逆且有非零导数，且  的描述函数非零，则条件分布  和  满足完备性。

在假设 4.1 下，我们证明可以找到一个离散化过程使得  行满秩、  可逆。

命题 4.4。假设 4.1 成立。则对于任何  的离散化  ，存在一个  的离散化  使得  行满秩。类似的，也存在  的离散化  使得  可逆。

受命题 4.4 的启发，我们提出算法 1 来具体的搜索满足矩阵秩约束的离散化，这一算法的设计原理请参见原文的介绍。

我们讨论离散化误差的控制问题。具体来说，我们说明在如下的平滑性假设下，可以通过细致的离散化将误差控制到任意小。

假设 4.7（TV 平滑性）。假设映射  和  相对于总差变距离（Total Variation Distance）是 Lipschitz 连续的，即存在  和  满足对任何  ，其中  。

为了理解假设 4.7 对于控制误差  的作用，注意到对于很小的离散格（Discretization Bin），假设 4.7 意味着距离很小。类似的，它还意味着距离很小。由于在零假设下，我们有  ，利用三角不等式，我们可以控制距离  从而控制误差项  。

值得注意的是，假设 4.7 在具有连续可导的结构方程的结构因果模型中均可成立，是一种比较弱的假设，具体的说明请参见原文的示例 4.8。

命题 4.9。假设  是一个紧的区间（Compact Interval）且  是  的一个分割满足则在假设 4.7 和零假设  下，对任何的  ，我们有从而离散化误差  可以被控制。

命题 4.9 说明在平滑性条件下，只要离散化格选取的足够小，就能将误差控制到任意小。此外，为了解决  是一个非紧集的情况，我们还引入了紧分布（Tight Distribution）的概念，具体的说明请参见原文的定义 4.10 和 命题 4.14。

令  并令相应的极大似然估计器为  ，满足 令  表示回归  到  的最小平方法误差，我们采用平方误差  为我们的检验统计量。

定理 4.15。假设 4.1，4.7 成立，则在零假设下，  依分布收敛到卡方分布。因此，对于任意的显著性水平  ，即我们的假设检验过程有一致的显著性水平  。

定理 4.18。假设 4.1，4.7，4.16 成立，则对于任意  ，即我们的假设检验过程的检定力为  。

图2. 不同样本量下假设检验的第一类和第二类错误率。对于一个正确的检验过程，第一类错误率应该接近显著性水平  （虚线），第二类错误率应尽可能接近零。

图3. 不同离散化粒度下假设检验的第一类和第二类错误率。

图5. 利用代理变量区分直接因果效应（  ）和间接因果效应（  ），进而识别时间序列因果图。

[1] Kuroki, M. and Pearl, J. Measurement bias and effect restoration in causal inference. Biometrika, 101(2):423–437, 2014.

[2] Miao, W., Geng, Z., and Tchetgen Tchetgen, E. J. Identifying causal effects with proxy variables of an unmeasured confounder. Biometrika, 105(4):987–993, 2018.

[3] Miao, W., Hu, W., Ogburn, E. L., and Zhou, X.-H. Identifying effects of multiple treatments in the presence of unmeasured confounding. Journal of the American Statistical Association, pp. 1–15, 2022.

图文 | 刘鸣洲

Computer Vision and Digital Art (CVDA)