An Aligning and Training Framework for Multimodal Recommendations

随着多媒体应用的发展，多模态推荐发挥着至关重要的作用，因为它们可以利用用户交互之外的丰富上下文。现有的方法主要将多模态信息视为辅助信息，用于帮助学习ID特征；然而，多模态内容特征和ID特征之间存在语义差距，直接使用多模态信息作为辅助信息会导致用户和项目的表示不匹配。在本文中，我们首先系统地研究了多模态推荐中的表示不匹配问题，并提出了一种名为AlignRec的解决方案。在AlignRec中，推荐目标被分解为三个对齐，即内容内部对齐、内容与分类ID之间的对齐以及用户和项目之间的对齐。每个对齐都由一个特定的目标函数来表征，并集成到我们的多模态推荐框架中。为了有效地训练我们的AlignRec，我们提出从预训练第一个对齐开始，以获得统一的多模态特征，随后使用这些特征作为输入同时训练后续的两个对齐。由于分析每个多模态特征是否有助于训练至关重要，我们设计了三种新的度量类来评估中间性能。我们在三个真实世界的数据集上进行了广泛的实验，结果一致地验证了AlignRec相对于九个基线的优越性。我们还发现，AlignRec生成的多模态特征优于当前使用的特征，这些特征将被开源。

解决问题：本文试图解决多模态推荐中存在的语义鸿沟问题，即直接使用多模态信息作为辅助特征会导致用户和物品的表示不一致的问题。

关键思路：本文提出了一种名为AlignRec的解决方案，将推荐目标分解为三个对齐步骤，分别是内容内部的对齐、内容和分类ID之间的对齐以及用户和物品之间的对齐，并且为每个对齐步骤设计了特定的目标函数，整合到多模态推荐框架中。为了有效训练AlignRec，本文建议从预训练第一个对齐开始，以获得统一的多模态特征，并随后使用这些特征作为输入同时训练后续的两个对齐步骤。此外，本文设计了三类新的度量标准来评估中间性能。

其他亮点：本文在三个真实数据集上进行了广泛的实验，并与九个基准模型进行了比较，结果表明AlignRec相对于基准模型具有明显的优势。此外，本文发现AlignRec生成的多模态特征优于当前使用的特征，并将其开源。值得深入研究的是，本文提出的对齐思想在多模态推荐领域中具有广泛的应用前景。

相关研究：最近的相关研究包括利用多模态信息进行推荐的方法，但大多数方法仅将多模态信息视为辅助信息，用于帮助学习ID特征。与之相比，本文提出的AlignRec通过对齐步骤来解决语义鸿沟问题，使得多模态信息可以更好地应用于多模态推荐。