Unsupervised Universal Image Segmentation

已经提出了几种无监督图像分割方法，这些方法消除了对密集手动注释分割掩模的需求；目前的模型分别处理语义分割（例如STEGO）或类别不可知实例分割（例如CutLER），但不是两者都包含的（即全景分割）。我们提出了一种无监督通用分割模型（U2Seg），它能够使用新颖的统一框架执行各种图像分割任务，包括实例、语义和全景分割。U2Seg通过利用自监督模型生成这些分割任务的伪语义标签，然后进行聚类，每个聚类表示像素的不同语义和/或实例成员身份。然后我们在这些伪语义标签上进行自训练，相对于针对每个任务量身定制的专业方法，我们的方法取得了显着的性能提升：在COCO上，无监督实例分割中，与CutLER相比，AP$^{\text{box}}$提高了+2.6，在无监督语义分割中，与STEGO相比，PixelAcc提高了+7.0。此外，我们的方法为无监督全景分割建立了新的基线，这之前从未被探索过。U2Seg还是一种强大的预训练模型，用于少样本分割，例如只有1%的COCO标签，当在低数据情况下训练时，相对于CutLER，AP$^{\text{mask}}$提高了+5.0。我们希望我们的简单而有效的方法能够激发更多关于无监督通用图像分割的研究。

该论文提出了一种新的无监督通用图像分割模型U2Seg，旨在解决现有模型只能单独处理语义分割或类别无关实例分割的问题，无法同时处理全景分割的问题。

U2Seg通过利用自监督模型生成伪语义标签，然后使用聚类将每个聚类表示为像素的不同语义和/或实例成员身份，从而实现各种图像分割任务的统一框架。然后使用这些伪语义标签对模型进行自我训练，相对于针对每个任务量身定制的专业方法，取得了显着的性能提升。

该论文提出的U2Seg模型不仅是无监督实例分割和语义分割的强大预训练模型，而且还为无监督全景分割建立了新的基准。在少量数据情况下，U2Seg也是用于少样本分割的强大预训练模型，相对于CutLER，性能提高了5.0 AP$^{mask}$。实验表明，U2Seg在COCO和COCOStuff数据集上的性能显著优于当前领域中的其他方法。该论文的代码已经开源，可以用于进一步研究。

在最近的相关研究中，还有一些相关的研究，如：CutMix，MixMatch，以及其他基于聚类的分割方法，如Kmeans和MeanShift。