简介：协变量移位泛化是分布外泛化的一个典型例子，它要求对未知的测试分布有良好的性能，而未知测试分布以协变量迁移的形式与训练分布不同。近年来，稳定学习算法在涉及回归算法和深度神经网络的几种学习模型上显示出了处理协变量迁移泛化的有效性。然而，对这种有效性的理论解释仍然缺乏。在本文中，我们进一步对稳定学习算法进行理论分析，将其解释为一个特征选择的过程。我们首先指定一组变量，命名为最小稳定变量集，这是在一般化的常见损失函数下处理协变量移位的最优方案，包括均方损失和二元交叉熵损失。然后我们证明了在理想条件下，稳定学习算法能够识别出该集合中的变量。进一步分析了其渐近性质和误差传播。这些理论阐明了为什么稳定学习适用于协变量偏移泛化问题。

 

链接：https://arxiv.org/pdf/2111.02355.pdf

推荐理由：本文从理论上证明了稳定学习算法的有效性，将稳定学习算法与因果推断有机地结合起来，阐明了其中的内在关联，具有极强的理论价值，对于整个领域有着很强的推动作用。

内容中包含的图片若涉及版权问题，请及时与我们联系删除