Novel Class Discovery for Ultra-Fine-Grained Visual Categorization

这篇文章研究的是超细粒度视觉分类（Ultra-FGVC），旨在区分细粒度对象内高度相似的子类别，例如不同的大豆品种。与传统的细粒度视觉分类相比，Ultra-FGVC由于小的类间差异和大的类内变异而遇到了更多的障碍。鉴于这些挑战，依靠人工注释进行Ultra-FGVC是不切实际的。因此，本文引入了一个新的任务，称为超细粒度新类别发现（UFG-NCD），它利用部分注释数据来识别未标记图像的新类别，以进行Ultra-FGVC。为了解决这个问题，我们设计了一个区域对齐代理学习（RAPL）框架，它包括一个通道区域对齐（CRA）模块和一个半监督代理学习（SemiPL）策略。CRA模块旨在从局部区域提取和利用具有区分性的特征，促进从有标签到无标签类别的知识转移。此外，SemiPL通过代理引导的监督学习和代理引导的对比学习增强了表示学习和知识转移。这些技术利用嵌入空间中的类分布信息，提高了有标签和无标签超细粒度类别之间微小差异的挖掘。大量实验证明，RAPL在各种数据集上显著优于基线，表明其处理UFG-NCD挑战的有效性。代码可在https://github.com/SSDUT-Caiyq/UFG-NCD获得。

本文试图解决Ultra-FGVC中的新类别发现问题，即如何利用部分标注数据来识别未标注图像的新类别，以便进行更细粒度的视觉分类。

本文提出了一种名为Region-Aligned Proxy Learning (RAPL)的框架，其中包括Channel-wise Region Alignment (CRA)模块和Semi-Supervised Proxy Learning (SemiPL)策略，以提取和利用局部区域的判别特征，加强标注和未标注类别之间的知识转移，并利用代理引导的监督学习和对比学习来加强表示学习和知识转移。

本文通过实验表明，RAPL相比基线方法在各种数据集上都表现出更好的性能，证明了其在处理UFG-NCD方面的有效性。此外，本文提供了开源代码。

最近的相关研究包括Fine-Grained Visual Categorization (FGVC)和Semi-Supervised Learning (SSL)等，如《Learning Deep Representations for Fine-Grained Visual Categorization》和《Semi-Supervised Learning with Deep Generative Models》等。