The Fault in Our Recommendations: On the Perils of Optimizing the Measurable

推荐系统已经广泛应用，通过个性化推荐，承诺将用户与他们喜欢的选项匹配。为此，收集和使用参与度数据。大多数推荐系统基于排名，根据预测的参与度对项目进行排名和推荐。然而，参与度信号通常只是效用的粗略代理，因为后者的数据很少被收集或可用。本文探讨以下问题：通过优化可衡量的代理，推荐系统是否面临在效用方面显著不足的风险？如果是，如何提高很少被测量的效用？为了研究这些问题，我们引入了一个重复用户消费模型，在每次互动中，用户可以在外部选项和推荐集中的最佳选项之间选择。我们的模型考虑到用户的异质性，大多数用户喜欢“流行”内容，少数用户喜欢“利基”内容。系统最初缺乏个人用户偏好的知识，但可以通过观察用户随时间的选择来了解它们。我们的理论和数值分析表明，优化参与度可能导致显着的效用损失。相反，我们提出了一种效用感知策略，最初推荐流行和利基内容的混合。随着平台变得更具前瞻性，我们的效用感知策略同时实现了最佳效用和最佳参与度。我们的研究阐明了推荐系统的一个重要特征；鉴于能够建议多个项目，可以在不产生显著参与度降低的情况下进行大量探索。通过推荐高风险、高回报的项目以及流行项目，系统可以增强高效用项目的发现，而不会显著影响参与度。

优化推荐系统的可衡量指标是否会显著影响其效用？如何提高很少被测量的效用？

推荐系统应该采取同时考虑效用和用户参与度的策略，最初建议混合流行和利基内容，逐渐向更注重效用的方向发展。通过推荐高风险、高回报的物品，可以增强发现高效用物品的能力，而不会显著影响用户参与度。

论文提出了一个模型，考虑了用户异质性和学习过程，证明了优化用户参与度可能会导致显著的效用损失。论文提出了一种同时考虑效用和用户参与度的策略，并通过实验验证了该策略的有效性。

相关研究包括《Learning to Rank: From Pairwise Approach to Listwise Approach》、《Collaborative Filtering for Implicit Feedback Datasets》等。