作者:Kartik Ahuja,Karthikeyan Shanmugam,Kush R. Varshney,Amit Dhurandhar 

简介:当机器学习的测试分布由于虚假关联(spurious correlation)而与训练分布不同时,使用经验风险最小化方法优化的的机器学习模型性能会受到较大影响。利用多个环境的数据来找到不变的预测因子的方法,通过使模型仅使用与结果有因果关系的特征,减少了虚假关联的影响。在这篇文章中,我们提出了一个不变风险最小化方法,即在多个训练环境中寻找集合博弈的纳什均衡点。通过这样做,我们利用最佳响应动力学设计了一种简单的训练算法。在我们的实验中,与Arjovsky等人(2019)提出的Invariant Risk Minimization(IRM)相比取得了相似或更好的平均预测性能以及更小的方差。此外,理论上证明了所提出的对策的纳什均衡集等价于任何有限数量的环境的不变预测器集,即使存在非线性分类器和变换。因此,本方法保留了IRM对于分布偏移下的泛化性能保证。本算法是博弈论机器学习算法的又一成功范例。

 

论文链接:http://proceedings.mlr.press/v119/ahuja20a/ahuja20a.pdf

内容中包含的图片若涉及版权问题,请及时与我们联系删除