Pose-Guided Self-Training with Two-Stage Clustering for Unsupervised Landmark Discovery

我们探索了一种最近出现的自监督学习算法范式——扩散模型的潜力，以期开发出一个强大的无监督地标发现（ULD）框架，解决对象类别的这一具有挑战性的计算机视觉问题。一些最近的研究表明，这些模型隐含了重要的对应线索。为了利用扩散模型在ULD任务中的潜力，我们做出了以下核心贡献。首先，我们提出了一种基于随机像素位置的简单聚类和最近邻匹配的ZeroShot ULD基线。它的结果比现有的ULD方法更好。其次，受到ZeroShot表现的启发，我们开发了一种基于扩散特征的ULD算法，利用自我训练和聚类，也比以前的方法表现更好。第三，我们介绍了一种基于生成潜在姿态编码的新代理任务，并提出了一个两阶段聚类机制，以促进有效的伪标签，从而显著提高了性能。总的来说，我们的方法在四个具有挑战性的基准测试（AFLW、MAFL、CatHeads和LS3D）上始终比最先进的方法表现更好。

本文旨在探索自监督学习算法中扩散模型的潜力，用于解决无监督地标发现问题。论文提出了一个基于聚类的零样本地标发现基线，并开发了一个基于扩散特征的地标发现算法，使用自训练和聚类来提高性能。此外，论文还介绍了一种新的代理任务，以及一个两阶段聚类机制，用于有效的伪标签生成，从而显著提高了性能。本文的目标是在四个具有挑战性的基准测试中，显著超越现有的方法。

论文的关键思路是利用自监督学习中的扩散模型，通过自训练和聚类来解决无监督地标发现问题。论文还提出了一种新的代理任务，以及一个两阶段聚类机制，用于有效的伪标签生成。

论文提出的基于聚类的零样本地标发现基线表现优于现有的方法。基于扩散特征的地标发现算法使用自训练和聚类也超越了以前的方法。论文使用了四个具有挑战性的基准测试，并且实验结果显著。论文还介绍了一种新的代理任务，以及一个两阶段聚类机制，用于有效的伪标签生成。

最近在这个领域中，还有一些相关的研究，如《Unsupervised Discovery of Object Landmarks as Structural Representations》、《Unsupervised Discovery of Landmarks for 3D Face Alignment》等。