Rethinking Large Language Model Architectures for Sequential Recommendations

最近，顺序推荐已经被应用到LLM范式中，以享受LLM的强大能力。基于LLM的方法通常将推荐信息转化为自然语言，并以自回归方式训练模型以预测下一个项目。尽管它们取得了显著的成功，但推理的实质计算开销对于它们在实际应用中的可行性构成了重大障碍。在这项工作中，我们努力简化现有的基于LLM的推荐模型，并提出了一个简单而高效的模型Lite-LLM4Rec。Lite-LLM4Rec的主要目标是实现顺序推荐任务的高效推理。Lite-LLM4Rec通过使用直接项目投影头来生成排名分数，从而避免了波束搜索解码。这个设计源于我们的经验观察，即波束搜索解码对于顺序推荐最终是不必要的。此外，Lite-LLM4Rec引入了一种分层LLM结构，以有效处理与项目相关的广泛上下文信息，从而减少计算开销，同时享受LLM的能力。在三个公开可用的数据集上的实验证实了Lite-LLM4Rec在性能和推理效率方面的有效性（特别是在ML-1m上，性能提高了46.8%，效率提高了97.28%），超过了现有的基于LLM的方法。我们的实现将开源。

解决问题的问题是如何提高基于LLM的推荐系统的推荐效率？这是否是一个新问题？

Lite-LLM4Rec通过引入层次化LLM结构和直接的项目投影头来提高推荐效率。相比于现有的LLM方法，Lite-LLM4Rec在推荐效果和推荐效率上都有显著的提升。

论文使用三个公开数据集进行实验，证明了Lite-LLM4Rec的有效性和高效性。Lite-LLM4Rec的推荐效果比现有的LLM方法提高了46.8％，推荐效率提高了97.28％。该论文的代码将开源。

最近的相关研究包括使用LLM的推荐系统和提高推荐效率的研究。例如，使用LLM的推荐系统的论文包括《Neural Collaborative Filtering》和《Session-based Recommendation with Graph Neural Networks》。提高推荐效率的论文包括《Fast Sequential Recommendation with Graph Neural Networks》和《Efficient Sequential Recommendation with Multi-Head Self-Attention》。