Think Before Recommend: Unleashing the Latent Reasoning Power for Sequential Recommendation

顺序推荐（SeqRec）通过捕捉用户历史交互中的序列模式来预测下一个项目，在许多实际的推荐系统中发挥着关键作用。然而，现有的方法大多采用直接前向计算范式，其中序列编码器的最终隐藏状态被用作用户表示。我们认为，这种推理范式由于计算深度有限，难以建模用户偏好的复杂演化特性，并且对长尾项目缺乏细致的理解，从而导致性能次优。为了解决这一问题，我们提出了 **ReaRec**，这是首个推荐系统中的推理时计算框架，它通过隐式的多步推理增强用户表示。具体来说，ReaRec 自回归地将序列的最后一个隐藏状态输入到顺序推荐模型中，同时引入特殊的推理位置嵌入，以将原始项目编码空间与多步推理空间解耦。此外，我们还引入了两种轻量级的基于推理的学习方法：集成推理学习（ERL）和渐进推理学习（PRL），以更有效地挖掘 ReaRec 的推理潜力。在五个公开的实际数据集和不同的 SeqRec 架构上的广泛实验表明了我们提出的 ReaRec 的通用性和有效性。值得注意的是，事后分析显示，ReaRec 显著提升了多个顺序推荐骨干模型的性能上限，幅度约为 30%-50%。因此，我们相信这项工作可以为未来关于顺序推荐中推理时计算的研究开辟一条新的、有前景的方向。

该论文试图解决现有SeqRec方法在建模用户偏好时的局限性问题，特别是由于直接前向计算范式导致的复杂演化用户偏好建模不足以及对长尾项目理解不充分的问题。这是一个需要进一步改进的经典问题。

论文提出了一种名为ReaRec的推理时间计算框架，通过隐式多步推理增强用户表示。具体来说，ReaRec自回归地将序列的最后一隐藏状态输入到序列推荐器中，并引入特殊的推理位置嵌入以解耦原始项目编码空间和多步推理空间。此外，还提出了两种轻量级推理学习方法：ERL（Ensemble Reasoning Learning）和PRL（Progressive Reasoning Learning）。相比传统方法，这种方法显著提升了模型对复杂用户偏好的建模能力。

论文在五个公开的真实世界数据集上进行了广泛实验，验证了ReaRec在不同SeqRec架构上的通用性和有效性。后验分析表明，ReaRec可将多个序列推荐骨干模型的性能提升约30%-50%。此外，作者开源了代码（如果适用），并指出未来可以进一步研究推理深度与性能之间的关系以及更高效的推理机制。

近期相关研究包括《SASRec: Self-Attention-based Sequential Recommendation》、《BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer》和《GRU4Rec: Improving State-of-the-Art for Session-based Recommendations》等。这些研究主要集中在改进序列编码器或引入Transformer结构来捕捉用户交互中的顺序模式，而ReaRec则首次引入了推理时间计算的概念，为序列推荐提供了一个全新的视角。