Domain Generalization(DG:域泛化)一直以来都是各大顶会的热门研究方向。DA 假设我们有多个个带标签的训练集(源域),这时候我们想让模型在另一个数据集上同样表现很好(目标域),但是在训练过程中根本不知道目标域是什么,这个时候如何提升模型泛化性呢?核心在于如何利用多个源域带来的丰富信息。本文通过ICML 2022 域泛化相关的四篇文章来研究最新的进展。
本文介绍的第一篇工作 DNA 从理论和实现上将 classifier ensembling 引入 OOD 问题并给出了一个新的 target error upper bound,第二篇文章尝试着将传统的 sample reweighting 方法和 DRO 这类 bi-level optimization 方法的优势进行结合,使用二层优化的方法寻找更好的 reweighting 权重,第三篇文章针对 IRM 最被人诟病的点,即大数据集不 work 来进行,将稀疏性这一点引入 OOD。最后一篇将平滑性约束引入 DAL 从而提升对抗学习在迁移过程中的效果。
四篇文章用了四种不同的工具,总的来看大家都在找不同的切入点来解决 OOD 问题,实际上目前大多数研究可能都与 OOD 有着千丝万缕的联系,还有更多的研究空间等待探索。
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢