Towards Calibrated Deep Clustering Network

深度聚类表现出了非凡的性能；然而，过度自信的问题，即对于一个样本属于特定聚类的估计置信度大大超过其实际预测准确度，在先前的研究中被忽视了。为了解决这个关键问题，我们开创性地开发了一个校准的深度聚类框架。具体而言，我们提出了一种新颖的双头深度聚类流水线，可以有效校准估计的置信度和实际准确度。校准头使用正则化方法调整聚类头的过度自信预测，生成与模型学习状态相匹配的预测置信度和伪标签。该校准过程还指导聚类头动态选择可靠的高置信度样本进行训练。此外，我们引入了一种有效的网络初始化策略，增强了训练速度和网络鲁棒性。广泛的实验表明，所提出的校准深度聚类框架不仅在期望校准误差方面超过了最先进的深度聚类方法约10倍，而且在聚类准确度方面也显著优于它们。

解决问题：论文旨在解决深度聚类中存在的过度自信问题，即样本属于某个簇的估计置信度远远超过其实际预测精度的问题。

关键思路：提出了一种新的双头深度聚类框架，可以有效地校准估计的置信度和实际准确性。其中，校准头使用正则化方法调整聚类头的过度自信预测，生成匹配模型学习状态的预测置信度和伪标签。此外，还引入了一种有效的网络初始化策略，提高了训练速度和网络鲁棒性。

亮点：论文的实验表明，所提出的校准深度聚类框架在期望校准误差方面比现有深度聚类方法提高了约10倍，并且在聚类准确性方面也明显优于它们。论文使用了多个数据集进行实验，并提供了开源代码。

相关研究：最近的相关研究包括《Deep Clustering: A Review》、《Variational Deep Embedding: An Unsupervised and Generative Approach to Clustering》等。