LLMRec: Benchmarking Large Language Models on Recommendation Task

解决问题：该论文旨在探究大语言模型（LLMs）在推荐领域的应用，提出了一个基于LLMs的推荐系统LLMRec，并在五个推荐任务上对几个常见的LLMs进行了基准测试。同时，论文还探究了监督微调对提高LLMs指令合规能力的有效性。

关键思路：论文的关键思路是使用LLMs来增强推荐系统的性能，通过LLMRec对LLMs在推荐任务上的表现进行基准测试，并探究监督微调对LLMs的影响。相比当前领域的研究，该论文提出了一种新的思路，即将LLMs应用于推荐领域。

其他亮点：该论文的实验设计充分考虑了推荐系统的不同任务类型，使用了多个数据集进行测试，并提供了开源代码和处理后的数据。研究结果表明，LLMs在可解释性任务上表现良好，但在准确性任务上表现一般。值得进一步研究的是如何提高LLMs在准确性任务上的表现。

相关研究：近期其他相关的研究包括：《BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer》（Haochuan Jiang等，华盛顿大学）和《Graph Neural Networks for Social Recommendation: A Review of State-of-the-Art》（Wenqi Fan等，南京大学）。

论文摘要：最近，像ChatGPT这样的大型语言模型（LLMs）的快速发展显著提高了会话模型的能力，从而极大地推动了自然语言处理（NLP）任务的发展。然而，LLMs在推荐领域的应用尚未得到全面的研究。为了弥补这一差距，我们提出了LLMRec，这是一个基于LLMs的推荐系统，旨在为各种推荐任务的LLMs进行基准测试。具体而言，我们在五个推荐任务（包括评分预测、顺序推荐、直接推荐、解释生成和评论摘要）上对几种流行的现成LLMs进行了基准测试，如ChatGPT、LLaMA、ChatGLM等。此外，我们还调查了有监督微调的有效性，以提高LLMs的指令遵循能力。基准测试结果表明，LLMs在基于准确性的任务（如顺序推荐和直接推荐）中仅显示了适度的熟练程度。然而，在基于可解释性的任务中，它们表现出了与最先进的方法相当的性能。我们还进行了定性评估，以进一步评估不同模型生成的内容质量，结果显示LLMs能够真正理解提供的信息，并生成更清晰、更合理的结果。我们希望这个基准测试将成为研究人员深入挖掘LLMs在提高推荐性能方面潜力的灵感。我们的代码、处理数据和基准测试结果可在https://github.com/williamliujl/LLMRec上获得。

内容中包含的图片若涉及版权问题，请及时与我们联系删除