MENTOR: Multi-level Self-supervised Learning for Multimodal Recommendation

随着多媒体信息的增加，多模态推荐受到了广泛的关注。它利用多模态信息来缓解推荐系统中的数据稀疏问题，从而提高推荐准确性。然而，对标记数据的依赖严重限制了多模态推荐模型的性能。最近，自监督学习被用于多模态推荐，以缓解标记稀疏问题。然而，现有的最先进方法在对齐多模态信息时无法避免模态噪声，因为不同模态的分布存在很大差异。为此，我们提出了一种多级自监督学习多模态推荐（MENTOR）方法来解决标记稀疏问题和模态对齐问题。具体而言，MENTOR首先使用图卷积网络（GCN）增强每种模态的特定特征，并融合视觉和文本模态。然后，它通过物品语义图来增强所有模态的物品表示，包括融合模态。接下来，它引入了两个多级自监督任务：多级跨模态对齐任务和一般特征增强任务。多级跨模态对齐任务在多个级别上以ID嵌入为指导对齐每个模态，同时保留历史交互信息。一般特征增强任务从图和特征两个方面增强一般特征，以提高我们模型的鲁棒性。在三个公开数据集上进行的大量实验表明了我们方法的有效性。我们的代码公开在https://github.com/Jinfeng-Xu/MENTOR。

本论文旨在解决多模态推荐中标注数据稀缺和模态对齐问题。而当前的自监督学习方法无法避免模态噪声，影响推荐准确性。

MENTOR方法通过使用图卷积网络（GCN）增强每个模态的特征，并融合视觉和文本模态。然后，通过物品语义图增强所有模态的物品表示。接着，引入了两个多级自监督任务：多级跨模态对齐任务和一般特征增强任务。通过这些任务，MENTOR方法能够更好地解决标注数据稀缺和模态对齐问题。

论文使用了三个公开数据集进行了广泛的实验，证明了MENTOR方法的有效性。此外，MENTOR方法还具有良好的鲁棒性，并且代码已公开。

近期的相关研究包括《Self-supervised Learning for Cross-modal Retrieval》、《Cross-modal Retrieval with Self-supervision》等。