Estimating the Hessian Matrix of Ranking Objectives for Stochastic Learning to Rank with Gradient Boosted Trees

随机学习排序（LTR）是LTR领域的一个新分支，它涉及概率排名模型的优化。它们的概率行为使得某些排名质量是无法通过确定性模型实现的。例如，它们可以增加显示文档的多样性，增加文档的公平曝光度，并通过随机化更好地平衡开发和探索。 LTR的核心困难是梯度估计，因此现有的随机LTR方法一直局限于可微分的排名模型（例如神经网络）。这与LTR的一般领域形成了鲜明对比，其中梯度提升决策树（GBDT）长期以来一直被认为是最先进的技术。 在本研究中，我们通过引入第一个GBDT的随机LTR方法来解决这个差距。我们的主要贡献是引入了一种新的二阶导数估计器，即海森矩阵，这是有效的GBDT的要求。为了同时高效地计算一阶和二阶导数，我们将我们的估计器纳入现有的PL-Rank框架中，该框架最初仅设计用于一阶导数。我们的实验结果表明，没有海森矩阵的随机LTR性能极差，而我们估计的海森矩阵的性能与当前最先进的技术相当。因此，通过我们的新海森估计方法的贡献，我们成功地将GBDT引入了随机LTR。

解决问题：论文介绍了最近LTR领域的一个新分支——基于概率的排名模型的优化问题，提出了在GBDTs中引入概率模型的难点，即Hessian矩阵的估计问题，并试图通过提出一种新的Hessian矩阵估计方法来解决这个问题。

关键思路：论文提出了一种新的Hessian矩阵估计方法，将其应用于现有的PL-Rank框架中，以同时计算一阶和二阶导数，从而引入GBDTs到基于概率的LTR中。

其他亮点：实验结果表明，没有Hessian矩阵时，基于概率的LTR的性能极差，而使用我们估计的Hessian矩阵时，性能与当前的最先进技术相当。论文提供了开源代码和数据集，该方法对于LTR和GBDTs的进一步研究具有重要意义。

相关研究：最近的相关研究包括基于神经网络的基于概率的LTR方法，如LambdaRank和ListNet。