Discriminative Sample-Guided and Parameter-Efficient Feature Space Adaptation for Cross-Domain Few-Shot Learning

本文研究跨领域少样本分类，这是一个具有挑战性的任务，需要在少量标记示例的情况下学习新领域的类别。现有方法虽然有些有效，但存在一些限制，本文通过两个重要改进来解决这些限制。首先，为了解决在小数据集上微调大量参数导致的过拟合问题，我们引入了一种轻量级参数高效的适应策略。该策略使用预训练特征的线性变换，显著降低了可训练参数的数量。其次，我们用一个方差感知的损失函数替换了传统的最近中心分类器，增强了模型对训练集中类内和类间方差的敏感性，以改善特征空间中的聚类效果。在Meta-Dataset基准测试中的实证评估表明，我们的方法不仅在已知和未知数据集上将准确度分别提高了7.7%和5.3%，而且在至少比现有方法高3倍的参数效率下实现了这一性能，从而在跨领域少样本学习中建立了一个新的最先进技术。我们的代码可在https://github.com/rashindrie/DIPA找到。

解决跨领域少样本分类问题，即学习在未见过的领域中的新类别，只有很少的标记样本。该问题是一个新的挑战。

该论文提出了两个重要的改进：1. 介绍了一种轻量级的、参数高效的自适应策略，通过预训练特征的线性变换显著减少可训练参数数量，以应对在小数据集上微调大量参数时的过拟合问题；2. 用一个方差感知的损失函数代替传统的最近质心分类器，提高模型对训练集中类内和类间方差的敏感性，以改善特征空间中的聚类效果。

论文在Meta-Dataset基准测试中进行了实证评估，表明我们的方法不仅在已知数据集上将准确度提高了7.7%，在未知数据集上也提高了5.3%，而且在至少比现有方法高3倍的参数效率下实现了这一性能，从而建立了跨领域少样本学习的新的最先进技术。我们的代码可以在https://github.com/rashindrie/DIPA找到。

在这个领域中，最近还有一些相关的研究，例如：《A Closer Look at Few-shot Classification》、《Meta-Learning with Differentiable Convex Optimization》。