Unleash the Power of Local Representations for Few-Shot Classification

将训练中未见过的新类别进行泛化分类是少样本分类的一个关键挑战。最近的基于度量的方法尝试通过局部表示来解决这个问题。然而，由于（i）预训练特征提取器的监督不当，以及（ii）处理局部特征集合的各种可能组合的度量缺乏适应性，它们无法充分利用局部表示。在这项工作中，我们释放了局部表示的力量，以提高对新类别的泛化能力。对于特征提取器，我们设计了一种新的预训练范式，通过软标签学习随机裁剪的补丁。它利用了补丁的类别级别多样性，同时减少了它们与硬标签的语义不匹配的影响。为了使网络输出与软标签对齐，我们还提出了一种UniCon KL-Divergence，强调每个基类在描述“非基类”补丁时的平等贡献。对于度量，我们将测量局部特征集合的形式化表示为一个熵正则化的最优传输问题，以引入处理由同质元素组成的集合的能力。此外，我们设计了一个调制模块，赋予度量所需的适应性。我们的方法在三个流行的基准测试中实现了新的最先进性能。此外，在细粒度场景中，它超越了最先进的跨模态方法和横向方法。

本文旨在通过设计新的预训练范式和度量方法，发挥局部表示在提高少样本分类中的泛化能力方面的作用。

本文的关键思路是设计了一种新的预训练方法，该方法通过软标签学习随机裁剪的补丁，利用补丁的类级别多样性，同时减少了它们与硬标签的语义不对齐的影响。此外，本文提出了UniCon KL-Divergence来将网络输出与软标签对齐，并将测量局部特征集的方法转化为熵正则化的最优传输问题，以引入处理由同质元素组成的集合的能力，并设计了一个Modulate Module来赋予度量方法所需的适应性。

本文在三个流行基准测试中取得了新的最先进表现。此外，在细粒度场景中，本文超越了最先进的传导和跨模态方法。实验使用了多个数据集，包括CUB-200-2011、Stanford Cars和SUN397，并开源了代码。

在这个领域中，最近的相关研究包括Meta-Transfer Learning for Few-Shot Learning (MTL)、Prototypical Networks (ProtoNet)和Matching Networks。