在机器学习领域大热的分类学习任务中，为了保证训练得到的分类模型具有准确性和高可靠性，一般会作出两个基本假设：

  • 用于学习的训练样本与新的测试样本满足独立同分布；
  • 必须有足够可用的训练样本才能学习得到一个好的分类模型。

但实际情况很难满足这两个条件。很多 ML 技术只有在训练数据和测试数据处于相同的特征空间中或具有相同分布的假设下才能很好地发挥作用，一旦随着时间推移，标签可用性变差或标注样本数据缺乏，效果便不尽如人意。

因此，这就引起 ML 中另一个需要关注的重要问题，如何利用源领域（Source domian）中少量的可用标签训练样本 / 数据训练出鲁棒性好的模型，对具有不同数据分布的无标签 / 少可用标签的目标领域（Target domain）进行预测。由此，迁移学习（Transfer Learning）应运而生，并引起了广泛的关注和研究。

近几年来，已经有越来越多的研究者投入到迁移学习中。每年机器学习和数据挖掘的顶级会议中都有关于迁移学习的文章发表。顾名思义，迁移学习就是把一个领域已训练好的模型参数迁移到另一个领域，使得目标领域能够取得更好的学习效果。鉴于大部分的数据具有存在相关性，迁移学习可以比较轻松地将模型已学到的知识分享给新模型，从而避免了从头学习，这加快效率，也大大提高样本不充足任务的分类识别结果。

今年的 NeurIPS 上，谷歌的一支研究团队发表了一篇名为 What is being transferred in transfer learning? 的论文，揭示了关于迁移学习的最新研究进展。在这篇论文中，作者便向我们提供了新的工具和分析方法，从不同的角度剖析了不同模块的作用及影响成功迁移的因素，得到了一些有趣的结论，例如，相比高层的特征，预训练模型适合迁移的主要是低层的统计信息。

具体而言，通过对迁移到块混洗图像（block-shuffled images）的一系列分析，他们从学习低层数据统计中分离出了特征复用（feature reuse）的效果，并表明当从预训练权重进行初始化训练时，该模型位于损失函数 “地图” 的同一 “盆地”（basin）中，不同实例在特征空间中相似，并且在参数空间中接近（注：basin 一词在该领域文献中经常使用，指代参数空间中损失函数相对较低值的区域）。

感兴趣的可以戳链接继续阅读或阅读下面的论文原文。

内容中包含的图片若涉及版权问题，请及时与我们联系删除