EAGLE: Eigen Aggregation Learning for Object-Centric Unsupervised Semantic Segmentation

语义分割天生依赖于大量的像素级标注数据，导致出现了无监督方法。其中，利用自监督视觉变换器进行无监督语义分割（USS）已经在深度特征方面取得了稳步进展。然而，对于具有复杂对象的图像进行语义分割，仍然存在一个主要挑战：在补丁级特征中缺乏显式的对象级语义编码。这种技术限制经常导致复杂对象的分割不足，因为它们具有多样化的结构。为了解决这一问题，我们提出了一种新的方法，EAGLE，它强调面向对象的表示学习，用于无监督语义分割。具体而言，我们引入了EiCue，一种通过从深度图像特征的语义相似度矩阵和图像的颜色亲和力导出的特征提供语义和结构线索的谱技术。此外，通过将我们的面向对象的对比损失与EiCue相结合，我们指导模型学习具有内部和跨图像对象特征一致性的对象级表示，从而增强语义准确性。在COCO-Stuff、Cityscapes和Potsdam-3数据集上进行的大量实验表明，EAGLE具有最先进的USS结果，在复杂场景中实现了准确和一致的语义分割。

本文旨在解决语义分割中的一个挑战：缺乏显式的物体级语义编码，导致复杂对象的分割不足。

本文提出了一种新方法EAGLE，强调面向物体的表示学习，通过结合EiCue和物体中心对比损失，引导模型学习具有内部和跨图像物体特征一致性的物体级表示，从而提高语义准确性。

本文提出的EAGLE方法在COCO-Stuff、Cityscapes和Potsdam-3数据集上进行了广泛实验，实现了最先进的无监督语义分割结果。该方法能够在复杂场景中实现准确且一致的语义分割。

最近的相关研究包括使用自监督学习进行语义分割的方法，如DeepCluster、MoCo、SimCLR等。