Conditional Quantile Estimation for Uncertain Watch Time in Short-Video Recommendation

在短视频推荐领域中，预测用户观看时间是一个至关重要但具有挑战性的任务。目前流行的确定性解决方案可以获得准确的去偏置统计模型，但它们忽略了用户环境中固有的不确定性。我们的观察发现，尽管我们使用了众多特征和复杂的网络架构，但这种不确定性可能会限制这些方法在我们的在线平台上观看时间预测的准确性。因此，我们认为更好的解决方案是对这种不确定的观看时间建模条件分布。 本文介绍了一种新的估计技术——条件分位数估计（CQE），它利用分位数回归捕捉观看时间的微妙分布。学习到的分布考虑到了用户的随机性质，因此提供了更准确和更强健的估计。此外，我们还设计了几种策略来增强分位数预测，包括条件期望、保守估计和动态分位数组合。我们通过广泛的离线评估和部署在一个拥有超过3亿日活跃用户的真实视频应用中验证了我们方法的有效性。

解决short video recommendation中预测用户观看时间的问题，通过建立用户观看时间的条件分布来解决模型中的不确定性。

使用条件分位数估计（CQE）方法，利用分位数回归来捕捉观看时间的分布，从而提高模型的准确性和鲁棒性。

论文设计了多种策略来增强分位数预测的准确性，包括条件期望、保守估计和动态分位数组合。通过公共数据集的离线评估和在拥有3亿日活用户的真实视频应用中的部署验证了方法的有效性。

与该论文相关的研究包括利用深度学习和统计方法进行用户行为预测的研究，如《DeepFM: A Factorization-Machine based Neural Network for CTR Prediction》和《Learning from Multi-Field Data: Deep Learning for Click-Through Rate Prediction》。