Time Matters: Enhancing Pre-trained News Recommendation Models with Robust User Dwell Time Injection

大型语言模型（LLMs）已经彻底改变了文本理解，引领了利用LLMs进行深入新闻理解的最新推荐模型。尽管如此，由于点击行为的固有不确定性，准确地建模用户偏好仍然具有挑战性。Transformer中的多头注意力等技术旨在通过捕捉点击之间的交互来缓解这一问题，但它们在整合显式反馈信号方面存在不足。用户停留时间成为一个强有力的指标，提供了增强点击发出的微弱信号的潜力。尽管如此，在收集停留时间数据时存在延迟的情况下，它的实际适用性是有问题的。为了弥补这一差距，本文提出了两种新颖而强大的停留时间注入策略，即停留时间权重（DweW）和停留时间感知（DweA）。DweW通过对停留时间的详细分析来集中精炼有效用户点击，与初始行为输入集成，构建更加强大的用户偏好。DweA赋予模型对停留时间信息的感知能力，从而促进用户建模中注意力值的自主调整。这种增强提高了模型准确识别用户偏好的能力。在我们使用来自MSN网站的真实新闻数据集的实验中，我们验证了我们的两种策略显著提高了推荐性能，倾向于高质量的新闻。关键是，我们的方法对用户停留时间信息表现出稳健性，即使在停留时间数据完全丢失的极端情况下，仍能维持其推荐高质量内容的能力。

如何利用用户停留时间数据提高新闻推荐系统的性能？

论文提出了两种停留时间注入策略，DweW和DweA，以提高新闻推荐系统的性能。DweW通过分析停留时间来优化有效用户点击，构建更强大的用户偏好；DweA通过增强模型对停留时间信息的感知，自动调整用户建模中的注意力值，提高模型识别用户偏好的能力。

论文在MSN网站的真实新闻数据集上进行了实验，验证了两种策略显著提高了推荐性能，特别是对高质量新闻的推荐。两种策略在用户停留时间信息缺失的情况下也表现出鲁棒性。

近期的相关研究包括：《Attention Is All You Need》、《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》、《DeepFM: A Factorization-Machine based Neural Network for CTR Prediction》等。