MoLoRec: A Generalizable and Efficient Framework for LLM-Based Recommendation

大型语言模型（LLMs）近年来取得了显著的成功，这归功于其出色的泛化能力和丰富的世界知识。为了充分利用LLMs作为推荐系统的潜力，主流方法通常专注于两种范式。第一种范式设计了多领域或多任务指令数据以实现可泛化的推荐，从而使LLMs与通用推荐领域对齐，并处理冷启动推荐问题。第二种范式则通过参数高效的微调技术增强特定领域的推荐任务，以改善在热启动推荐场景下的模型性能。尽管大多数先前的工作将这两种范式分开处理，我们认为它们具有互补的优势，结合两者将会更有帮助。 为此，本文提出了一种通用且高效的基于LLM的推荐框架MoLoRec。我们的方法首先通过对一般推荐指令数据进行参数高效的微调，来训练一个领域通用模块，使LLM与推荐知识对齐。然后，针对特定领域的用户行为，我们构建了一个特定领域的指令数据集，并对预训练的LLM应用高效的微调。之后，我们提供了将上述领域通用部分和领域特定部分通过参数混合进行整合的方法。请注意，MoLoRec具备即插即用的高效性，因为领域通用模块只需训练一次，任何领域特定的插件都可以通过仅进行领域特定的微调高效地合并。在多个数据集上进行的广泛实验验证了所提出的MoLoRec在热启动和冷启动推荐场景下的有效性和通用性。

该论文试图解决如何利用大型语言模型（LLMs）作为推荐系统的问题，特别是在冷启动和热启动推荐场景下的应用。这并不是一个全新的问题，但通过结合通用领域和特定领域的指令数据来优化LLM的性能，提供了一种新的解决方案。

关键思路在于提出了一种名为MoLoRec的框架，该框架首先通过对多域推荐指令数据进行参数高效的微调，使LLM与推荐知识对齐；然后针对特定领域的用户行为构建指令数据集，并再次进行高效微调。最后，通过参数混合的方法将通用模块和特定模块集成在一起。相比现有研究，这种方法不仅提高了模型在不同推荐场景中的表现，还保持了高效性和灵活性。

该论文的亮点包括：1) 提出了结合通用和特定领域知识的新方法；2) 实验设计涵盖了多个数据集，在冷启动和热启动推荐场景下验证了模型的有效性；3) 强调了模型的高效性和即插即用特性，使得任何特定领域的插件都可以快速合并到预训练的LLM中。此外，论文提到所有实验代码均已开源，方便后续研究者复现结果并进一步探索。

最近的相关研究包括：1) 使用预训练语言模型进行个性化推荐的研究，如《Personalized Recommendation via Pre-trained Language Models》；2) 针对特定任务或领域的微调技术，例如《Domain-Specific Fine-Tuning for Efficient Transfer Learning》；3) 结合多任务学习以提高模型泛化能力的工作，比如《Multi-task Learning for Improved Generalization in Recommender Systems》。