Aligning Large Language Models for Controllable Recommendations

受到大型语言模型（LLMs）卓越的通用智能启发，研究人员已经开始探索它们在开创下一代推荐系统方面的应用——这些系统是对话式的、可解释的和可控的。然而，现有文献主要集中在将领域特定知识整合到LLMs中以提高准确性，往往忽视了遵循指令的能力。为了解决这一问题，我们首先引入了一组监督学习任务，这些任务带有从传统推荐模型派生的标签，旨在明确改善LLMs在遵循推荐特定指令方面的熟练程度。随后，我们开发了一种基于强化学习的对齐过程，进一步增强LLMs对用户意图的响应能力，并减少格式错误。通过对两个真实世界数据集进行广泛的实验，我们的方法显着提高了LLMs在遵循推荐系统中的指令的能力，同时保持了高水平的准确性表现。

本论文旨在探索将大型语言模型应用于推荐系统中，特别是在指令遵循方面的应用。现有文献主要集中于将领域特定知识集成到LLM中以提高准确性，但忽略了遵循指令的能力。

论文提出了一系列监督学习任务，并使用传统推荐模型导出标签，旨在显式提高LLM遵循推荐特定指令的能力。随后，论文开发了一种基于强化学习的对齐过程，进一步增强LLM响应用户意图和减少格式错误的能力。

本研究通过在两个真实世界的数据集上进行广泛实验，显著提高了LLM在推荐系统中遵循指令的能力，同时保持高水平的准确性表现。值得关注的是，论文提出的对齐过程能够有效地减少格式错误，这是以往研究中很少被关注的问题。此外，论文提供了开源代码和相关数据集，为未来的研究提供了便利。

最近在这个领域中，还有一些相关的研究，例如：1.《A Survey of Recommender Systems Based on Deep Learning》；2.《Deep Learning for Recommender Systems: A Survey and New Perspectives》；3.《Deep Reinforcement Learning for List-wise Recommendations》等。