Anti-Collapse Loss for Deep Metric Learning Based on Coding Rate Metric

深度度量学习（DML）旨在学习一种有区分性的高维嵌入空间，以用于分类、聚类和检索等下游任务。先前的文献主要关注基于对比对和代理的方法，以最大化类间差异并最小化类内差异。然而，这些方法往往会因为过度依赖标签信息而导致嵌入空间的崩溃，从而导致次优的特征表示和较差的模型性能。为了维护嵌入空间的结构并避免特征崩溃，我们提出了一种新的损失函数，称为反崩溃损失。具体而言，我们提出的损失主要受到最大编码率降低原则的启发。它通过最大化样本特征或类别代理的平均编码率来促进嵌入空间中特征簇的稀疏性，以防止崩溃。此外，我们将我们提出的损失与基于对比对和代理的方法相结合，从而显着提高了性能。在基准数据集上的全面实验表明，我们提出的方法优于现有的最先进方法。广泛的消融研究验证了我们的方法在防止嵌入空间崩溃和促进泛化性能方面的有效性。

解决问题：本文旨在解决深度度量学习中过度依赖标签信息导致嵌入空间崩溃的问题，提出了一种名为Anti-Collapse Loss的新的损失函数。

关键思路：本文提出了一种新的损失函数Anti-Collapse Loss，该损失函数通过最大化样本特征或类别代理的平均编码率，促进嵌入空间中特征聚类的稀疏性，从而避免了特征崩溃的问题。

其他亮点：本文将Anti-Collapse Loss与基于对比对和代理的方法相结合，实现了显著的性能改进。实验使用了基准数据集，并展示了该方法优于现有最先进方法的结果。论文提供了广泛的消融实验以验证其有效性。

相关研究：最近的相关研究包括Pairwise Confusion Loss for Deep Metric Learning和Proxy-Contrastive Loss for Learning Representations with Limited Label Information等。