SimSAM: Simple Siamese Representations Based Semantic Affinity Matrix for Unsupervised Image Segmentation

最近自监督学习（SSL）的发展使得学习数据表示不再需要注释成为可能。受到非对比自监督学习方法（SimSiam）的启发，我们引入了一种新的框架SIMSAM来计算语义亲和矩阵，这对于无监督图像分割非常重要。给定一张图像，SIMSAM首先使用预训练的DINO-ViT提取特征，然后以非对比的方式投影特征以预测密集特征的相关性。我们展示了语义亲和矩阵在物体分割和语义分割任务中的应用。我们的代码可在https://github.com/chandagrover/SimSAM获取。

本文旨在利用自监督学习的方法，通过预测密集特征之间的相关性，计算出语义亲和矩阵，从而实现无监督图像分割。这是一个新的问题。

本文提出了一种新的框架SIMSAM，利用非对比自监督学习方法（SimSiam）来计算语义亲和矩阵。该框架使用预训练的DINO-ViT提取特征，并通过投影来预测密集特征之间的相关性，从而实现无监督图像分割。

本文在对象分割和语义分割任务中应用了语义亲和矩阵。实验结果表明，SIMSAM在PASCAL VOC 2012和Cityscapes数据集上的性能优于现有的无监督图像分割方法。此外，作者在GitHub上公开了代码。

在这个领域中，最近的相关研究包括：1）SimSiam：用于自监督图像分类的简单框架；2）DINO：一种新的自监督学习方法，用于图像特征学习；3）DeepCluster：无监督图像聚类的新方法。