An Aligning and Training Framework for Multimodal Recommendations

随着多媒体应用的发展，多模态推荐发挥着重要作用，因为它们可以利用丰富的上下文信息，超越用户和物品之间的交互。现有方法主要用于帮助学习ID特征，然而，在多模态内容特征和ID特征之间存在语义差距。直接使用多模态信息作为辅助会导致物品和用户的表示不一致。在本文中，我们首先系统地研究了多模态推荐中的不一致问题，并提出了一种名为AlignRec的解决方案。在AlignRec中，推荐目标被分解为三个对齐，即内容内部对齐，内容和分类ID之间的对齐，以及用户和物品之间的对齐。每个对齐都由一个不同的目标函数来描述。为了有效地训练AlignRec，我们建议从预训练第一个对齐开始，以获得统一的多模态特征，随后一起训练后两个对齐。由于分析每个多模态特征是否有助于训练至关重要，我们设计了三个新的度量类来评估中间性能。我们在三个真实世界数据集上进行了广泛的实验，始终验证了AlignRec相对于九个基线的优越性。我们还发现，我们框架生成的多模态特征比当前使用的特征更好，并将其开源。

本论文旨在解决多模态推荐中的特征对齐问题，提出一种名为AlignRec的解决方案。

AlignRec将推荐目标分解为三个对齐部分，并为每个部分设计了不同的目标函数，分别是内容内部对齐、内容与分类ID之间的对齐以及用户和物品之间的对齐。同时，通过预训练来实现对内容内部对齐的统一多模态特征的生成。

论文设计了三种新的指标来评估模型的中间性能，实验结果表明AlignRec相比九个基线模型表现更好，同时生成的多模态特征也比当前使用的更好。该论文使用了三个真实数据集，并开源了代码。

与本文相关的研究包括：1.《Multimodal Recommender Systems: A Survey of the State of the Art》；2.《Multimodal Recommendation with Multi-Head Self-Attention Networks》；3.《Deep Multimodal Learning: A Survey on Recent Advances and Trends》等。