A Self-boosted Framework for Calibrated Ranking

现在，比例校准的排名系统在实际应用中非常普遍，这些系统追求同时具有准确的排名质量和校准的概率预测。例如，在广告排名系统中，预测的点击率（CTR）用于排名，并需要进行校准以进行下游的按点击付费广告竞标。最近，基于多目标的方法已成为校准排名的标准方法，其中结合了两个损失函数的组合：一个点损失函数，重点关注校准的绝对值，以及一个排名损失函数，强调相对顺序。然而，当应用于工业在线应用时，现有的多目标CR方法仍然存在两个关键限制。首先，先前的方法需要在单个小批次中聚合完整的候选列表以计算排名损失。这种聚合策略违反了长期以来被证明有助于防止过度拟合的广泛数据洗牌，从而降低了训练效果。其次，现有的多目标方法将两个内在冲突的损失函数应用于单个概率预测，这导致校准和排名之间的次优权衡。为了解决这两个限制，我们提出了一种用于校准排名的自我增强框架（SBCR）。

解决问题：论文提出了一个名为SBCR的框架，旨在解决现有多目标校准排序方法存在的两个关键问题：需要在单个mini-batch中聚合完整的候选列表以计算排序损失，以及将两个内在冲突的损失函数应用于单个概率预测，导致校准和排序之间的次优权衡。

关键思路：SBCR框架采用了一种自我增强的策略，通过先训练一个校准模型，然后使用它来修正排序模型的预测结果，从而解决了现有方法中的两个问题。同时，SBCR框架还引入了一个新的排序损失函数，该函数不需要聚合完整的候选列表，从而避免了数据洗牌的问题。

其他亮点：论文在三个真实数据集上进行了实验，结果表明SBCR框架在校准和排序质量方面均优于现有方法。此外，论文还提供了开源代码，并探讨了SBCR框架的一些局限性和未来研究方向。

相关研究：在现有研究中，多目标校准排序方法已经成为标准方法，如DRM、CenSurE、CaliBoost等。此外，还有一些研究关注于校准排序中的特定问题，如倾斜数据、多任务学习等，如《A Unified Framework for Calibration and Ranking with Noisy Labels》、《Multi-Task Learning for Calibrated Ranking》等。