Improving Multi-modal Recommender Systems by Denoising and Aligning Multi-modal Content and User Feedback

多模态推荐系统（MRS）在各种在线网络平台中至关重要，并在近年来引起了相当大的关注。然而，先前的研究忽略了以下挑战：（1）多模态内容存在噪声，（2）用户反馈存在噪声，以及（3）如何将多模态内容与用户反馈对齐。为了解决这些挑战，我们提出了去噪和对齐的多模态推荐系统（DA-MRS）。为了减少多模态噪声，DA-MRS首先构建了由跨模态一致内容相似性确定的项目-项目图。为了去除用户反馈的噪声，DA-MRS将观察到的反馈概率与多模态内容相关联，并设计了去噪BPR损失。此外，DA-MRS实现了由用户偏好引导的对齐，以增强任务特定的项目表示，以及由分级项目关系引导的对齐，以提供更细粒度的对齐。广泛的实验验证了DA-MRS是一个即插即用的框架，并在各种数据集、骨干模型和噪声场景中实现了显著且一致的改进。

DA-MRS试图解决多模态推荐系统中存在的多模态内容噪声、用户反馈噪声和多模态内容与用户反馈之间的对齐问题。这是一个相对新的问题。

DA-MRS通过构建基于一致内容相似性的物品-物品图来缓解多模态噪声，通过将观察到的反馈概率与多模态内容相关联并设计去噪BPR损失来去噪用户反馈，实现了由用户偏好引导的对齐和由分级物品关系引导的对齐，以提供更细粒度的对齐。

论文在多个数据集、骨干模型和嘈杂场景下进行了广泛的实验，证明了DA-MRS是一个即插即用的框架，并取得了显著和一致的改进。此外，论文还提供了开源代码。

最近的相关研究包括MultiVAE、MFM和MIMN等。