Active Preference Learning for Ordering Items In- and Out-of-sample

当难以为每个项目分配特定标签时，基于有噪声的成对比较学习项目排序是有用的，例如，当注释者必须进行主观评估时。已经提出了算法来主动采样项目的比较，以最小化学习准确排序所需的注释数量。然而，许多算法忽略了项目之间的共享结构，将它们视为无关，限制了样本效率并排除了对新项目的概括。在这项工作中，我们研究了具有上下文属性的成对偏好反馈的积极学习，既包括样本内，也包括样本外的项目排序。我们针对逻辑偏好模型提出了积极学习策略的预期排序误差的上限，涉及比较中的aleatoric和epistemic不确定性，并提出了两种旨在贪心地最小化这个上限的算法。我们在两个现实的图像排序任务中评估了这些算法，包括一个由人类注释者进行比较的任务，并证明了与非上下文排序方法和积极偏好学习基线相比的卓越样本效率。

如何在没有明确标签的情况下，通过主观评估的成对比较来学习项目的排序，同时考虑项目之间的共享结构和上下文属性？

提出了两种算法来最小化在逻辑偏好模型下主动学习策略所产生的排序误差的上限，考虑比较中的不确定性和项目之间的共享结构和上下文属性。

在两个逼真的图像排序任务中进行了评估，包括一个由人类注释者进行比较的任务，并证明了与非上下文排序方法和主动偏好学习基线相比具有更高的样本效率。

与上下文相关的排序方法，主动学习排序方法，偏好学习方法，基于比较的排序方法。