Enhancing Fine-Grained Image Classifications via Cascaded Vision Language Models

这篇论文探讨了细粒度图像分类在零/少样本情况下对视觉语言模型（VLMs），如CLIP，提出了重大挑战。由于其预训练模型缺乏细粒度分类的监督信号，这些模型通常难以区分语义上相似的类别。为了克服以前基于CLIP的方法的限制，本文提出了CascadeVLM，这是一个创新的框架，有效利用了大型视觉语言模型（LVLMs）中封装的粒度知识。在各种细粒度图像数据集上的实验表明，CascadeVLM显著优于现有模型，特别是在斯坦福汽车数据集上，实现了惊人的85.6%的零样本准确率。性能增益分析验证了LVLMs对于CLIP无法确定的具有挑战性的图像产生更准确的预测，从而提高了总体准确性。我们的框架为有效和高效的细粒度图像分类提供了视觉语言模型和大型视觉语言模型的整体集成思路。

本论文旨在解决视觉-语言模型在细粒度图像分类中的挑战，尤其是在零/少样本情况下的分类问题。由于预训练模型缺乏细粒度分类的监督信号，因此这些模型往往难以区分语义上相似的类别。

本论文提出了CascadeVLM框架，通过有效利用大型视觉-语言模型（LVLMs）中所包含的精细知识，克服了以前基于CLIP的方法的限制。实验表明，CascadeVLM在各种细粒度图像数据集上显著优于现有模型，特别是在Stanford Cars数据集上，达到了惊人的85.6％的零样本准确性。性能增益分析验证了LVLMs对于CLIP不确定的具有挑战性的图像产生更准确的预测，从而提高了整体准确性。

本论文的实验设计了多个细粒度图像数据集，证明了CascadeVLM在零/少样本情况下的分类准确率显著提高。此外，本论文还开源了代码，方便其他研究者进行复现和改进。值得继续深入研究的是，如何在更大规模的数据集上验证CascadeVLM的性能，以及如何进一步提高其分类准确率。

相关研究包括基于CLIP的其他细粒度图像分类方法，如CLIP-SIR等。还有一些研究探索如何将视觉-语言模型与其他模型结合使用，以提高细粒度图像分类的准确性，如VLP等。