MMGRec: Multimodal Generative Recommendation with Transformer Model

多模态推荐旨在根据用户历史交互的项目和相关的多模态信息推荐用户喜欢的候选项。以往的研究通常采用嵌入和检索范式：在相同的嵌入空间中学习用户和项目的表示，然后通过嵌入内积为用户检索相似的候选项目。然而，这种范式存在推理成本、交互建模和假阴性问题。为此，我们提出了一种新的MMGRec模型，将生成式范式引入多模态推荐中。具体而言，我们首先设计了一种分层量化方法Graph RQ-VAE，从多模态和CF信息中为每个项目分配Rec-ID。由一组语义有意义的标记组成，Rec-ID作为每个项目的唯一标识符。随后，我们训练一个基于Transformer的推荐器，根据历史交互序列生成用户喜欢的项目的Rec-ID。这种生成式范式是合格的，因为该模型以自回归的方式系统地预测标识推荐项目的标记组。此外，我们还设计了一种关系感知的自注意机制，用于处理非顺序交互序列，该机制探索元素之间的配对关系以替换绝对位置编码。广泛的实验评估了MMGRec与最先进方法相比的有效性。

本论文旨在解决多模态推荐中嵌入-检索范式所遇到的推理成本、交互建模和误判等问题，提出了一种新的生成范式，即MMGRec模型。

MMGRec模型采用图RQ-VAE对每个物品进行分层量化，生成Rec-ID，作为每个物品的唯一标识符，并使用Transformer模型根据历史交互序列生成用户首选物品的Rec-ID。

论文的实验表明，MMGRec模型相比于现有的方法具有更好的性能。在模型设计方面，使用了图RQ-VAE和Transformer模型，并提出了一种关系感知的自注意机制来处理非顺序交互序列。论文使用了两个真实数据集进行实验，并开源了代码。

在多模态推荐领域，最近的相关研究包括：《Multi-Modal Graph Convolutional Networks for Personalized Recommendation of Social Images》、《Multimodal Recommender Systems: A Survey of State-of-the-Art Approaches》等。