Understanding Hyperbolic Metric Learning through Hard Negative Sampling

近年来，将双曲几何方法应用于计算机视觉的趋势不断增长。虽然这些方法在使用双曲距离测量的各种度量学习任务上取得了最先进的性能，但支持这种卓越性能的潜在理论分析仍未得到充分利用。在本研究中，我们研究了将双曲空间整合到度量学习中的效果，特别是在使用对比损失进行训练时。我们发现现有文献中缺乏欧几里得空间和双曲空间在对比损失中温度效应的全面比较。为了填补这一空白，我们进行了广泛的研究，对使用欧几里得空间和双曲空间的混合目标函数对Vision Transformers (ViTs)的结果进行了基准测试。此外，我们提供了对观察到的性能提高的理论分析。我们还揭示了双曲度量学习与困难负采样密切相关，为未来的研究提供了启示。本研究将为了解双曲图像嵌入提供有价值的数据点和经验。为了更好地解决问题并鼓励进一步研究我们的方法，我们的代码可在网上获得（https://github.com/YunYunY/HypMix）。

本论文旨在探讨将双曲几何方法应用于计算机视觉中的度量学习，并验证其在使用对比损失训练时的性能优势。同时，论文也试图解决现有文献中关于欧几里得空间和双曲空间对比损失中温度效应的综合比较的缺失。

论文的关键思路是将双曲空间嵌入到度量学习中，通过混合欧几里得空间和双曲空间的损失函数来训练Vision Transformers (ViTs)，并提供理论分析来解释性能提升的原因。此外，论文还发现了双曲度量学习与难负样本采样的密切关系。

论文通过实验验证了使用混合损失函数训练ViTs可以在多个数据集上获得优于使用单一损失函数的结果。论文还提供了开源代码以供进一步研究使用，并提供了深入的理论分析来解释为什么双曲空间的度量学习可以提高性能。

在最近的相关研究中，也有一些关注度量学习中使用双曲空间的方法。例如，"Learning in Hyperbolic Space with Improved Adversarial Training"和"Hyperspherical Prototype Networks"等。