Revisiting Spurious Correlation in Domain Generalization

现有的机器学习技术可能会学习到与领域相关的虚假相关性，这加剧了模型在超出分布（OOD）场景中的泛化问题。为了解决这个问题，最近的研究建立了一个结构因果模型（SCM）来描述数据生成过程中的因果关系，从而激发了避免模型学习虚假相关性的方法。然而，从机器学习的角度来看，这种理论分析忽略了数据生成过程和表示学习过程之间微妙的差异，导致基于前者的因果分析不能很好地适应后者。为此，我们探索建立表示学习过程的SCM，并进一步对虚假相关性背后的机制进行彻底分析。我们强调，调整错误的协变量会引入偏差，因此需要根据实际应用场景正确选择虚假相关性机制。在这方面，我们证实了所提出的SCM的正确性，并进一步提出通过引入倾向得分加权估计器来控制OOD泛化中的混淆偏差，该方法可以作为插件模块集成到任何现有的OOD方法中。实证结果全面展示了我们的方法在合成和大规模真实OOD数据集上的有效性。

本文旨在解决现有机器学习技术可能会学习到与领域相关的虚假相关性，从而加剧模型在分布外（OOD）场景下的泛化问题。论文建立结构因果模型（SCM）来描述数据生成过程中的因果关系，以避免模型学习虚假相关性。但是，从机器学习的角度来看，这种理论分析忽略了数据生成过程和表示学习过程之间的微妙差异，导致基于前者的因果分析不能很好地适应后者。因此，本文探讨了为表示学习过程构建SCM，并进一步对虚假相关性背后的机制进行了彻底分析的方法。

本文提出了一种SCM表示学习过程的方法，并进一步提出了一种倾向分数加权估计器来控制OOD泛化中的混淆偏差，该方法可以作为插件模块集成到任何现有的OOD方法中。

本文的亮点包括：1.提出了一种SCM表示学习过程的方法；2.提出了一种控制混淆偏差的方法；3.在合成和大规模真实OOD数据集上全面证明了方法的有效性。

与本文相关的研究包括：1.使用因果推断来提高模型的泛化能力的研究；2.解释模型的预测结果并解决因果混淆的研究。