DiffMM: Multi-Modal Diffusion Model for Recommendation

在线多模式共享平台（如TikTok和YouTube）的崛起使得个性化推荐系统能够将多种模式（如视觉、文本和声音）纳入用户表示。然而，解决这些系统中数据稀疏性的挑战仍然是一个关键问题。为了解决这个限制，最近的研究引入了自监督学习技术来增强推荐系统。然而，这些方法通常依赖于简单的随机增强或直观的交叉视图信息，这可能会引入不相关的噪声并未能准确地将多模态上下文与用户-项目交互建模对齐。为了填补这个研究空白，我们提出了一种新颖的多模态图扩散模型DiffMM，用于推荐。我们的框架将模态感知图扩散模型与交叉模态对比学习范式相结合，以改善模态感知用户表示学习。这种整合促进了多模态特征信息与协作关系建模之间的更好对齐。我们的方法利用扩散模型的生成能力自动生成一个感知不同模态的用户-项目图，从而便于将有用的多模态知识纳入建模用户-项目交互。我们在三个公共数据集上进行了广泛的实验，始终展示了我们的DiffMM比各种竞争基线更优越的性能。有关开源模型实现细节，您可以访问我们提出的框架的源代码：https://github.com/HKUDS/DiffMM。

提出一种解决多模态推荐系统中数据稀疏性问题的方法，即DiffMM。

DiffMM是一种多模态图扩散模型，结合跨模态对比学习范式，以改进多模态用户表示学习。该方法利用扩散模型的生成能力自动生成一个用户-项目图，该图能够识别不同的模态，从而更好地对用户-项目交互进行建模。

论文使用三个公共数据集进行了广泛的实验，并始终展示了DiffMM优于各种竞争基线的优越性。此外，论文还提供了开源代码。

近期的相关研究包括：《Multi-Modal Multi-View Topic-Aware Neural Attention for Recommender Systems》、《Graph Convolutional Neural Networks for Web-Scale Recommender Systems》等。