The Elephant in the Room: Rethinking the Usage of Pre-trained Language Model in Sequential Recommendation

本文提出了基于预训练语言模型（PLM）的顺序推荐模型（SR），并发现PLM在行为序列建模中存在很大的潜力和适用性。与此同时，本文通过对PLM和基于PLM的SR模型之间的广泛模型分析，发现PLM在行为序列建模中存在很大的未充分利用和参数冗余。基于此，本文探索了PLM在SR中的不同轻量级用法，旨在最大限度地激发PLM在SR中的能力，同时满足实际系统的效率和可用性要求。作者发现，采用经过行为调整的PLMs作为传统基于ID的SR模型的项目初始化的方法是PLM-based SR的最经济框架，这不会带来任何额外的推理成本，但与原始版本相比可以实现显着的性能提升。在五个数据集上进行的广泛实验表明，我们的简单而通用的框架相对于经典SR和SOTA PLM-based SR模型具有显着的改进，而无需额外的推理成本。

论文旨在探索 Pre-trained Language Models（PLMs）在行为序列建模中的能力和适用性，并提出一种经济高效的 PLM-based SR 框架，以提高推荐性能。

采用行为调整的 PLMs 作为传统 ID-based SR 模型的项目初始化，是一种经济高效的 PLM-based SR 框架，能够最大程度地激发 PLMs 的推荐能力。

论文通过对比分析 PLMs 和 PLM-based SR 模型，发现 PLMs 在行为序列建模中存在巨大的未充分利用和参数冗余。因此，提出了一种轻量级的 PLM-based SR 框架，即采用行为调整的 PLMs 作为传统 ID-based SR 模型的项目初始化。该框架在五个数据集上进行了广泛实验，并取得了显著的性能提升。

最近的相关研究包括：1.《BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer》；2.《DREAM: Dynamic Repeat-Exploit-Avoidance for Online Personalized Recommendation》；3.《Neural Collaborative Filtering vs. Matrix Factorization Revisited》等。