Navigating the Evaluation Funnel to Optimize Iteration Speed for Recommender Systems

过去几十年，已经出现了大量关于推荐系统评估的文献。然而，关于如何高效地将来自这个丰富领域的不同评估方法组合成一个单一的有效评估漏斗的写作较少。在本文中，我们旨在通过提出一个新颖的框架来建立选择评估方法的直觉，简化推荐系统评估漏斗的推理。我们的贡献是双重的。首先，我们提出了一个框架，以分解成功的定义来构建高效的评估漏斗，重点关注如何快速识别和丢弃不成功的迭代。我们展示了将成功的定义分解为更小的必要成功标准可以早期识别出不成功的想法。其次，我们概述了最常见和有用的评估方法，讨论它们的优缺点以及它们如何相互补充和适应评估过程，包括所谓的离线和在线评估方法，如对照日志记录、验证、验证、A/B测试和交错。本文最后通过一些一般性的讨论和建议，说明如何为推荐系统设计一个高效的评估过程。

如何构建一个高效的推荐系统评估流程？

将成功的定义分解为必要的成功标准，构建评估漏斗；介绍常见的离线和在线评估方法，并讨论它们如何相互补充。

论文提出了一个新的框架来简化推荐系统的评估流程，并提供了许多实用的评估方法，如对照日志、验证、验证、A/B测试和交错测试。同时，论文还探讨了如何设计高效的推荐系统评估流程的一般建议。

最近的相关研究包括：“A survey of accuracy evaluation metrics of recommendation tasks”、“Offline evaluation metrics for ranking and recommendation tasks”等。