Cascade-CLIP: Cascaded Vision-Language Embeddings Alignment for Zero-Shot Semantic Segmentation

预训练的视觉-语言模型（例如CLIP）已成功应用于零样本语义分割。现有的基于CLIP的方法主要利用最后一层的视觉特征来与文本嵌入对齐，而忽略了包含丰富物体细节的中间层中的关键信息。然而，我们发现直接聚合多层次的视觉特征会削弱对新类别的零样本能力。不同层次的视觉特征之间的巨大差异使得这些特征难以与文本嵌入很好地对齐。我们通过引入一系列独立的解码器来解决这个问题，以级联的方式将多层次的视觉特征与文本嵌入对齐，形成了一个新颖而简单的框架，称为Cascade-CLIP。我们的Cascade-CLIP灵活且易于应用于现有的零样本语义分割方法。实验结果表明，我们简单的Cascade-CLIP在分割基准测试中取得了卓越的零样本性能，如COCO-Stuff、Pascal-VOC和Pascal-Context。我们的代码可在以下链接中找到：https://github.com/HVision-NKU/Cascade-CLIP。

本论文旨在解决使用预训练的视觉-语言模型进行零样本语义分割时，中间层的丰富物体细节信息被忽略的问题，导致不同层之间的视觉特征难以与文本嵌入对齐。

论文提出了一种名为Cascade-CLIP的新框架，通过引入一系列独立的解码器，以级联方式对齐多层视觉特征和文本嵌入，从而提高了零样本语义分割的性能。

论文的实验结果表明，Cascade-CLIP在COCO-Stuff、Pascal-VOC和Pascal-Context等数据集上均取得了优异的零样本语义分割性能。此外，Cascade-CLIP框架简单易用，可以方便地应用于现有的零样本语义分割方法。论文代码已经开源。

与本论文相关的研究包括：1. CLIP模型的相关研究，如《CLIP: Connecting Text and Images》；2. 零样本语义分割的相关研究，如《Zero-Shot Semantic Segmentation》。