Learnable Tokenizer for LLM-based Generative Recommendation

利用大型语言模型（LLMs）进行生成式推荐已经引起了人们的广泛关注，因为LLMs具有丰富的世界知识和推理等强大的能力。然而，一个关键的挑战在于通过有效的项目标记化将推荐数据转换为LLMs的语言空间。现有的方法，如ID标识符、文本标识符和基于代码本的标识符，在编码语义信息、整合协作信号或处理代码分配偏差方面存在局限性。为了解决这些缺点，我们提出了LETTER（一种可学习的用于生成式推荐的标记化器），旨在通过集成分层语义、协作信号和代码分配多样性来满足标识符的关键标准。LETTER集成了残差量化VAE进行语义规范化，对比对齐损失进行协作规范化，以及多样性损失来缓解代码分配偏差。我们在两个生成式推荐模型中实现了LETTER，并引入了排名引导的生成损失来增强它们的排名能力。在三个数据集上进行的广泛实验表明，LETTER在项目标记化方面具有优越性，从而推进了生成式推荐领域的最新技术。

如何将推荐数据有效地转化为大型语言模型的语言空间，以实现生成式推荐？现有的方法存在哪些限制？

提出了一种可学习的标记化方法LETTER，它通过整合层次语义、协同信号和代码分配多样性来满足标识符的关键标准。LETTER结合了残差量化VAE进行语义规范化，对比对齐损失进行协作规范化，以及多样性损失以减轻代码分配偏差。LETTER在两个生成推荐模型中实现，并引入排名引导的生成损失来增强它们的排名能力。

论文通过实验展示了LETTER在标记化方面的优越性，并在生成推荐领域推进了最新技术。实验使用了三个数据集，并引入了排名引导的生成损失来增强排名能力。论文提出的方法具有可解释性和灵活性，并可以扩展到其他应用领域。

在这个领域中，最近的相关研究包括《BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer》和《Neural Collaborative Filtering》等。