作者：Haotian Ye，Chuanlong Xie，Tianle Cai，Ruichen Li, Zhenguo Li, Liwei Wang

简介：对非独立同分布数据的泛化问题(Out-of-distribution Generalization)是现代机器学习的核心问题之一。最近，有大量的工作提出基于提取不变特征思想的OOD算法。虽然直观上是合理的，但是对于什么样的不变性可以保证OOD泛化的理论理解仍然是有限的，并且泛化到任意的分布显然是不可能的。在这项工作中，我们对于（1）什么是OOD泛化问题（2）OOD问题什么情况下是可学习的 给出了严格的定量的定义。我们还引入了一个扩展函数的新概念，它描述了测试域的方差在训练域会被多大程度上放大，从而给出了不变特征的定量含义。在此基础上，我们证明了OOD泛化误差界。结果表明，OOD泛化在很大程度上依赖于扩展函数。正如最近有文章指出的，任何没有模型选择模块的OOD学习算法都是不完整的。我们的理论自然地引出了一个模型选择标准。在基准OOD数据集上的实验表明，我们的模型选择标准比现有方法具有显著的优势。

文章链接：https://arxiv.org/pdf/2106.04496.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除