简介：通过经验风险最小化(Empirical Risk Minimization, ERM)训练获得的模型可以实现较低的平均误差，但其对于数据内部的某些群体的误差较高，特别是在输入和标签之间存在虚假关联的情况下。之前控制最差子群体误差的一些方法，如分组分布鲁棒优化(Group Distributionally Robust Optimization, Group DRO), 需要对每个训练点标注其组别，而这会耗费很高的代价，不使用这种分组标签的方法则会获得更差的最差组泛化性能。在本文中，我们提出了一个简单的两阶段方法，Just Train Twice (JTT)，本方法最大限度地减少重加权数据集(第二阶段)的损失，在标准训练(第一阶段)结束时，我们增加了错误分类的训练样本的权重。直观上，这提高了标准ERM优化得到的模型在最坏组别下的泛化性能。在四个具有虚假关联的图像分类和自然语言处理任务中，我们发现JTT在标准ERM和Group DRO算法之间的最差组精度差距缩小了73%，而为了调整超参数，本方法只需要在一个小的验证集上进行组标注。

论文链接：https://arxiv.org/abs/2107.09044

推荐理由：本文提出了一个实现起来很简单的加权方法来达到更好的分布外泛化性能。

内容中包含的图片若涉及版权问题，请及时与我们联系删除