Distillation Matters: Empowering Sequential Recommenders to Match the Performance of Large Language Model

由于其强大的语义推理能力，大型语言模型（LLM）已被有效地用作推荐系统，取得了令人印象深刻的性能。然而，LLM的高推理延迟显著限制了它们的实际部署。为了解决这个问题，本文研究了从笨重的基于LLM的推荐模型到轻量级传统序列模型的知识蒸馏。它遇到了三个挑战：1）老师的知识不总是可靠的；2）老师和学生之间的能力差距使得学生难以吸收老师的知识；3）语义空间的差异对从嵌入中提取知识构成挑战。为了解决这些挑战，本文提出了一种新的蒸馏策略，DLLM2Rec，专门针对从基于LLM的推荐模型到传统序列模型的知识蒸馏。DLLM2Rec包括：1）重要性感知排名蒸馏，通过根据老师的置信度和学生-老师一致性对实例进行加权，过滤出可靠且适合学生的知识；2）协作嵌入蒸馏，将老师嵌入的知识与从数据中挖掘的协作信号集成起来。广泛的实验证明了所提出的DLLM2Rec的有效性，平均提高了三种典型的序列模型的性能47.97％，甚至在某些情况下使它们超越了基于LLM的推荐系统。

本论文旨在解决大型语言模型在推荐系统中的高推理延迟问题，提出了一种从LLM推荐模型到轻量级顺序模型的知识蒸馏方法。

该论文提出的DLLM2Rec方法包括两个关键思路：1）重要性感知排名蒸馏，通过加权实例来过滤可靠且适合学生的知识；2）协作嵌入蒸馏，将来自教师嵌入的知识与从数据中挖掘的协作信号相结合。这种方法有效地提高了顺序模型的性能。

论文的实验结果表明，DLLM2Rec方法能够显著提高三种典型的顺序模型的性能，平均提高了47.97％，甚至有时还能超过LLM推荐器。此外，论文还提供了开源代码和使用的数据集。

在这个领域中，还有一些相关研究，如《Distilling the Knowledge in a Neural Network》和《Knowledge Distillation: A Good Teacher is Patient and Consistent》。