简介：不变风险最小化(IRM)原则最早由Arjovsky等人(2019)提出，通过利用来自不同实验条件的数据异质性来解决领域泛化问题。具体来说，IRM试图找到一种数据表示，在这种表示下，最佳分类器在所有领域中都保持不变。尽管IRM在概念上有吸引力，但通过一些模拟实验和反例，最初提出的不变性惩罚项的有效性最近受到了质疑。在这项工作中，我们研究了数据表示、不变性惩罚和风险之间的关系。为此，我们提出了一种新的不变性惩罚，并利用它设计了一种自适应规则，用于调整Arjovsky等人(2019)提出的惩罚系数。此外，我们提供了如何避免IRM的潜在失败的实际见解，在一些已有的反例中进行验证。最后，我们对模拟数据集和真实数据集进行了数值实验，来建立不变预测因子。在真实实验中，我们试图建立一个预测人类健康状况的指标，使用从各种研究中收集的数据集，这些研究调查了人类肠道微生物群和特定疾病之间的关系。我们在这些数据集上证实了我们提出的方法的有效性，从而进一步促进了IRM原则在其他真实应用中的落地。

推荐理由：本文从IRM的现有问题出发，提出了新的惩罚项，并给出了对于IRM失败情况的一些启发。

论文地址：https://arxiv.org/abs/2106.09777

内容中包含的图片若涉及版权问题，请及时与我们联系删除