Balancing Embedding Spectrum for Recommendation

现代推荐系统严重依赖于从高维稀疏数据中学习到的高质量表示。虽然在设计强大的算法来提取用户偏好方面已经投入了大量努力，但是造成良好表示的因素仍然相对未被探索。在这项工作中，我们揭示了现有的成对学习范式中存在的问题（即嵌入坍塌问题），即表示往往跨越整个嵌入空间的子空间，导致次优解并减少模型容量。具体而言，对观察到的交互进行优化相当于一个低通滤波器，导致用户/项目具有相同的表示并导致完全坍塌。虽然负采样作为一个高通滤波器来平衡嵌入频谱以缓解坍塌，但其有效性仅限于某些损失，仍然导致不完全坍塌。为了解决这个问题，我们提出了一种新方法，称为DirectSpec，它在训练期间作为一个可靠的全通滤波器来平衡嵌入的频谱分布，确保用户/项目有效地跨越整个嵌入空间。此外，我们从去相关性的角度对DirectSpec进行了彻底的分析，并提出了一种增强的变体DirectSpec+，它采用自适应梯度来更有效地优化不相关的样本。此外，我们还建立了DirectSpec+和均匀性之间的密切联系，证明了对比学习可以通过间接平衡频谱来缓解坍塌问题。最后，我们在两个流行的推荐模型MF和LightGCN上实现了DirectSpec和DirectSpec+。我们的实验结果证明了它在竞争基线上的有效性和效率。

本文试图解决现有的推荐系统中的嵌入崩溃问题，即嵌入表示往往只覆盖了嵌入空间的一个子空间，导致模型容量减少和性能下降的问题。

本文提出了一种新方法DirectSpec，通过平衡嵌入的频谱分布来优化嵌入表示，使用户/物品有效地覆盖整个嵌入空间。同时，本文还提出了改进的方法DirectSpec+，通过自适应梯度来更有效地优化无关样本。此外，本文还发现对比学习可以间接地通过平衡频谱来缓解崩溃问题。

本文的实验结果表明，DirectSpec和DirectSpec+相比竞争基线具有更高的效率和效果。此外，本文还从去相关性的角度对DirectSpec进行了深入分析，并在MF和LightGCN两个流行的推荐模型上实现了该方法。本文还提供了开源代码和使用的数据集。

最近的相关研究包括使用对抗训练来提高推荐模型的鲁棒性的研究（Adversarial Training for Robust Recommendation），以及使用自监督学习来提高推荐系统性能的研究（Self-supervised Learning for Recommendation）。