分布外泛化(OOD)问题是指当测试样本的分布于训练样本的分布不同时，如何保证所学模型的泛化能力。在有分布偏移的情况下实现模型泛化是现代机器学习的核心问题之一。华为诺亚方舟实验室在OOD泛化算法和理论方面取得重要进展，其中3项研究工作被AI方向顶会NeurIPS 2021收录：

  • Towards a Theoretical Framework of Out-of-Distribution Generalization. 该工作给出了一种OOD理论分析框架：首先基于特征的稳定性和信息性定义了OOD问题的可学习性，并且在实际数据集上验证了定义的合理性；然后针对可学习的OOD任务分析了泛化误差的上下界，基于泛化边界给出了一个模型选择指标，在多个域泛化数据集上验证了所提模型选择指标。

    论文链接：https://arxiv.org/abs/2106.04496

  • MixACM: Mixup-Based Robustness Transfer via Distillation of Activated Channel Maps. 我们首先证明了知识蒸馏结合Mixup样本增广可以将老师模型的对抗稳健性迁移到学生模型。基于理论分析的结果，我们提出了一种快速且有效蒸馏对抗稳健性的方法MixACM，使得可以使用更少的训练数据、更小的模型架构，在不产生对抗样本的情况下有效提升模型的对抗稳健性。

    论文链接：https://arxiv.org/abs/2111.05073

  • Classifier Calibration for Federated Learning with Non-IID Data. 在联邦学习系统中，不同客户端数据分布的不一致可能会导致缓慢和不稳定的模型训练过程，以及最终欠佳的模型表现。在该工作中我们提出了一种利用虚拟表征校正分类模型的算法CCVR：服务器通过聚合各客户端的本地表征统计量来估计IID数据的表征分布，然后从此分布中采样虚拟表征，对分类层进行重训练。
    论文链接：论文链接：https://arxiv.org/abs/2106.05001

内容中包含的图片若涉及版权问题，请及时与我们联系删除