Enhancing Information Maximization with Distance-Aware Contrastive Learning for Source-Free Cross-Domain Few-Shot Learning

现有的跨领域少样本学习（CDFSL）方法需要访问源领域数据来在预训练阶段训练模型。然而，由于越来越多关于数据隐私的担忧和减少数据传输和训练成本的需求，有必要开发一种不需要访问源数据的CDFSL解决方案。因此，本文探讨了一种无源跨领域少样本学习（SF-CDFSL）问题，通过使用现有的预训练模型来解决CDFSL，而不是使用源数据训练模型，避免访问源数据。本文提出了一种增强信息最大化与距离感知对比学习（IM-DCL）方法来解决这些挑战。首先，我们引入了用于学习查询集的传导机制。其次，我们探索了信息最大化（IM）来将目标样本映射为个体确定性和全局多样性预测，帮助源模型更好地适应目标数据分布。然而，IM无法学习目标任务的决策边界。这促使我们引入了一种称为距离感知对比学习（DCL）的新方法，在其中我们将整个特征集视为正负集，类似于薛定谔的双重状态概念。我们不再使用正负集之间的严格分离，而是在特征之间采用加权距离计算来建立整个特征集的软分类的正负集。此外，我们通过将对象特征与其对应的正负集之间的对比约束相结合来解决与IM相关的问题。在BSCD-FSL基准测试的4个数据集的评估中，本文提出的IM-DCL方法在不访问源领域的情况下表现优于现有方法，尤其是在远程领域任务中表现更佳。

本论文探索了一种无需访问源数据的源自由交叉领域少样本学习（SF-CDFSL）解决方案，以应对数据隐私和训练成本等问题。

论文提出了一种增强的信息最大化与距离感知对比学习（IM-DCL）方法，该方法通过引入IM和DCL机制来实现目标样本的映射和决策边界的学习。

论文使用BSCD-FSL基准测试中的4个数据集进行了评估，证明了IM-DCL方法在无需访问源域的情况下比现有方法表现更好。

最近的相关研究包括《Few-Shot Learning with Global Class Representations》和《A Closer Look at Few-shot Classification》等。