Transfer Learning with Informative Priors: Simple Baselines Better than Previously Reported

本文旨在通过迁移学习来提高在训练数据有限的情况下目标任务分类器的准确性。最近的研究表明，使用源任务来学习神经网络权重的先验分布，而不仅仅是初始化，可以提高目标任务的性能。在本研究中，我们在5个数据集上仔细比较了使用和不使用源任务先验的迁移学习。我们发现，仅使用初始化的标准迁移学习的表现要比以前的比较所报告的要好得多。使用信息先验的方法相对于标准迁移学习的相对收益在数据集上的幅度不同。在每个类别5-300个样本的情况下，我们发现在2个数据集上是负面或微不足道的收益，在其他2个数据集上是适度的收益（准确率提高了1.5-3个百分点），在一个数据集上是显著的收益（>8个百分点）。在使用信息先验的方法中，我们发现各向同性协方差与学习的低秩协方差矩阵相比具有竞争力，而且更简单易懂、易于调整。进一步的分析表明，使用信息先验的机制性解释——假设训练和测试损失之间的对齐得到改善——由于实验损失的高变异性而得不到一致的支持。我们公开发布代码以允许独立重现所有实验。

本文旨在解决少样本情况下的目标任务分类器准确性问题，并验证使用源任务来学习神经网络权重先验分布（而非仅仅是初始化）是否能提高目标任务性能的假设。

本文比较了使用和不使用源任务信息先验的迁移学习方法在五个数据集上的表现，并发现使用初始化的标准迁移学习方法表现远比以前报道的好。使用信息先验的方法相对于标准迁移学习方法的相对收益在数据集之间的大小不同。在每个类别5-300个样本的情况下，我们发现其中2个数据集的收益为负或微不足道，另外2个数据集的收益为中等（准确度提高了1.5-3个点），而在一个数据集上的收益则非常大（>8个点）。在使用信息先验的方法中，我们发现使用各向同性协方差似乎与学习的低秩协方差矩阵相当，但更简单易懂且易于调整。

本文的实验使用了五个数据集，提出的迁移学习方法相对于标准迁移学习方法的收益在不同数据集之间有所不同，使用各向同性协方差似乎是一个竞争性的选择。此外，本文还释放了代码以允许独立重现所有实验。

最近的相关研究包括使用元学习方法来解决少样本分类问题，以及使用生成对抗网络进行迁移学习。