MetaCoCo: A New Few-Shot Classification Benchmark with Spurious Correlation

最近的研究表明，在少样本分类（FSC）中，来自测试分布的新类别与来自训练分布的基础类别不同，这会严重降低应用于真实世界应用中的深度学习模型的性能，这就是少样本分类中的越界问题（OOD）。最近的研究表明，FSC中的OOD问题主要包括：（a）跨域少样本分类（CD-FSC）和（b）虚假相关少样本分类（SC-FSC）。具体而言，CD-FSC发生在分类器从已知的训练分布中绘制基础类别的知识，但识别从未见过的测试分布中绘制的新类别时。相反，SC-FSC是当分类器依赖于与基础类别中的标签或概念相关的非因果特征（或上下文），但在模型部署期间，这种关系不再存在时发生的。尽管CD-FSC已经广泛研究，但由于缺乏相应的评估基准，SC-FSC仍然未被充分研究。为此，我们提出了Meta Concept Context（MetaCoCo），这是一个包含来自真实场景的虚假相关转移的基准。此外，为了量化MetaCoCo中虚假相关转移的程度，我们进一步提出了一种使用CLIP作为预训练视觉语言模型的度量标准。我们进行了广泛的实验，评估了FSC、跨域转移和自监督学习中的最先进方法在所提出的基准上的表现。实验结果表明，现有方法在存在虚假相关转移的情况下性能显著降低。我们开源了我们基准的所有代码，并希望所提出的MetaCoCo可以促进未来关于FSC中虚假相关转移问题的研究。代码可在https://github.com/remiMZ/MetaCoCo-ICLR24获得。

本文旨在解决few-shot分类中的out-of-distribution问题，特别是spurious-correlation few-shot classification（SC-FSC）问题，该问题在现实世界中存在，但尚未得到充分研究。

本文提出了Meta Concept Context（MetaCoCo）基准测试，用于评估在存在spurious-correlation shifts时few-shot分类方法的性能。此外，作者还提出了一种使用CLIP作为预训练视觉语言模型的度量方法，以量化MetaCoCo的spurious-correlation shifts程度。

本文提出的MetaCoCo基准测试使用了真实世界中的spurious-correlation shifts，实验结果表明现有的few-shot分类方法在存在spurious-correlation shifts时性能显著降低。作者还开源了MetaCoCo的代码，并希望该基准测试能够促进未来在few-shot分类中spurious-correlation shifts问题的研究。

最近的相关研究主要集中在cross-domain few-shot classification（CD-FSC）问题上，而本文关注的是SC-FSC问题。相关研究包括：Few-Shot Learning with Localization in Realistic Settings（ICLR2021）、Cross-Domain Few-Shot Classification via Learned Feature-Wise Transformation（CVPR2021）等。