聚类分析在机器学习和数据挖掘中起着不可或缺的作用。学习一个好的数据表示方法对于聚类算法是至关重要的。近年来,利用深度神经网络学习聚类友好表示的深度聚类已经广泛应用于各种聚类任务中。现有的深度聚类研究主要集中在单一视图领域和网络架构上,忽略了聚类的复杂应用场景。

论文地址:https://arxiv.org/abs/2210.04142

为了解决这个问题,在本文中,我们从数据源的角度对深度聚类进行了全面的考察。在不同的数据源和初始条件下,我们从方法论、先验知识和体系结构方面系统地区分了聚类方法。具体地,将深度聚类方法分为传统的单视图深度聚类、半监督深度聚类、深度多视图聚类和深度转移聚类四大类。最后,讨论了深度聚类在不同领域的开放挑战和潜在的未来机遇。引言随着网络媒体的发展,可以很容易地收集到大量的、复杂度高的数据。通过对这些数据的精确分析,我们可以挖掘出这些结论的价值,并将这些结论应用于许多领域,如人脸识别[1],[2],情感分析[3],[4],智能制造[5],[6]等。可用于对具有不同标签的数据进行分类的模型是许多应用程序的基础。

对于有标签的数据,理所当然地使用标签作为最重要的信息作为指导。对于未标记的数据,寻找一个可量化的目标作为模型构建过程的指导是聚类的关键问题。在过去的几十年里,人们提出了大量的浅层模型聚类方法,包括基于质心的聚类[7]、[8],基于密度的聚类[9]、[10]、[11]、[12]、[13],基于分布的聚类[14],分层聚类[15],集成聚类[16]、[17],多视图聚类[18]、[19]、[20]、[21]、[22]、[23]等。这些浅层模型只有在特征具有代表性的情况下才有效,而在复杂数据上,由于特征学习能力较差,其性能往往受到限制。

为了将原始复杂数据映射到易于聚类的特征空间,许多聚类方法都侧重于特征提取或特征变换,如PCA[24]、核方法[25]、谱方法[26]、深度神经网络[27]等。在这些方法中,深度神经网络由于其出色的非线性映射能力和在不同场景下的灵活性,是一种很有前途的方法。一种设计良好的基于深度学习的聚类方法(简称深度聚类)旨在有效地从数据中提取更多对聚类友好的特征,并同时对学习到的特征进行聚类。在深度聚类领域已经做了大量的研究,也有一些关于深度聚类方法[28],[29],[30],[31]的综述。具体而言,现有的深度聚类系统综述主要集中在单视图聚类任务和神经网络的体系结构上。例如,Aljalbout等人[28]只关注基于深度自编码器(AE或DAE)的深度单视图聚类方法。Min等人[29]从不同深度网络的角度对深度聚类方法进行了分类。Nutakki等[30]根据训练策略将深度单视图聚类方法分为三大类:多步顺序深度聚类、联合深度聚类和闭环多步深度聚类。Zhou等人[31]通过特征学习与聚类模块的交互方式对深度单视图聚类方法进行分类。但在现实世界中,用于聚类的数据集总是相关联的,例如,阅读的品味与电影的品味相关联,同一个人的侧脸和正面应该被标记为相同的。针对这些数据,基于半监督学习、多视图学习和迁移学习的深度聚类方法也取得了显著进展。不幸的是,现有的综述并没有过多地讨论它们。因此,从数据源和初始条件的角度对深度聚类进行分类非常重要。

本文从数据初始设置的角度结合深度学习方法对深度聚类进行了总结。我们从网络和数据结构的角度介绍了深度聚类的最新进展,如图1所示。具体来说,我们将深度聚类方法组织为以下四类