Multimodality Invariant Learning for Multimedia-Based New Item Recommendation

多媒体推荐通过学习用户的内容偏好，提供个性化的物品建议。随着数字设备和应用程序的普及，大量新的物品在短时间内快速创建。如何在推荐时快速提供新物品的建议是一个具有挑战性的问题。更糟糕的是，现实世界中的物品表现出不同程度的模态缺失（例如，许多短视频上传时没有文本描述）。尽管许多努力已经致力于基于多媒体的推荐，但它们要么无法处理新的多媒体物品，要么假设建模过程中的模态完整性。本文强调了解决新物品推荐中的模态缺失问题的必要性。我们认为用户固有的内容偏好是稳定的，并且最好在任意模态缺失环境下保持不变。因此，我们从不变学习的新角度来解决这个问题。然而，如何从有限的用户行为训练数据中构建环境以概括任何模态缺失是具有挑战性的。为了解决这个问题，我们提出了一种新的多模态不变学习推荐框架（MILK）。具体来说，MILK首先设计了一个跨模态对齐模块，以保持来自预训练的多媒体物品特征的语义一致性。之后，MILK设计了多模态异构环境，并使用循环混合来增加训练数据，以模拟任何模态缺失的不变用户偏好学习。在三个真实数据集上的大量实验证实了我们提出的框架的优越性。代码可在https://github.com/HaoyueBai98/MILK上获得。

本论文旨在解决多媒体推荐中新项目推荐和多模态数据不完整问题。

该论文提出了一种基于不变学习的多模态推荐框架MILK，通过设计跨模态对齐模块和多模态异构环境，从有限的用户行为训练数据中构建环境以推广任何模态缺失，从而实现用户偏好的不变性学习。

论文实验采用了三个真实数据集进行验证，证明了MILK框架的优越性。论文提供了开源代码https://github.com/HaoyueBai98/MILK。

近年来，多媒体推荐领域的相关研究还包括《Multi-modal Movie Genre Classification》、《Multi-modal Sentiment Analysis with Limited Supervision》等。