A Practice-Friendly Two-Stage LLM-Enhanced Paradigm in Sequential Recommendation

利用大型语言模型（LLM）进行训练的范式逐渐改变了序列推荐系统（SRS）并显示出了良好的结果。然而，大多数现有的LLM增强方法依赖于物品侧的丰富文本信息和实例级监督微调（SFT）来将协作信息注入LLM，这在许多应用中是低效且有限的。为了缓解这些问题，本文提出了一种新颖的、实用的两阶段LLM增强范式（TSLRec）用于SRS。具体而言，在信息重构阶段，我们为协作信息注入设计了一个新的基于用户级别的SFT任务，并借助预训练的SRS模型进行辅助，这种方法更加高效且与有限的文本信息兼容。我们的目标是让LLM尝试推断每个物品的潜在类别，并从用户的交互序列中重构出所有类别对应的用户偏好分布。在信息增强阶段，我们将每个物品输入到LLM中，以获得一组增强的嵌入，这些嵌入结合了协作信息和LLM推理能力。这些嵌入可以用于帮助训练各种未来的SRS模型。最后，我们在三个SRS基准数据集上验证了我们的TSLRec的有效性和效率。

本论文旨在提出一种新的两阶段LLM增强的顺序推荐系统范例（TSLRec），以解决现有的LLM增强方法在注入协作信息方面效率低下和受限的问题。

该论文提出了一种信息重建阶段和信息增强阶段的两阶段方法，其中信息重建阶段通过设计一个新的用户级SFT任务，使LLM尝试推断每个项目的潜在类别并重构相应的用户偏好分布，从而注入协作信息。信息增强阶段则通过将每个项目馈送到LLM中获取一组增强的嵌入，结合协作信息和LLM推断能力。这些嵌入可以用于训练未来的顺序推荐系统模型。

该论文通过实验证明了TSLRec在三个顺序推荐系统基准数据集上的有效性和高效性。此外，该论文提出的用户级SFT任务比实例级SFT任务更有效和适用于有限的文本信息。最后，该论文的方法可以为未来的顺序推荐系统研究提供新思路。

在这个领域中，最近的相关研究包括：1. 'BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer'；2. 'Collaborative Variational Autoencoder for Recommender Systems'；3. 'Neural Collaborative Filtering'等。