Multi-modal Food Recommendation using Clustering and Self-supervised Learning

食品推荐系统是数字生活方式服务中的关键组成部分，旨在帮助用户发现符合其独特饮食偏好的食谱和食品。通常，多模式描述为每个食谱提供详尽的资料，从而确保个性化和准确的推荐。我们对两个数据集的初步调查表明，与ID特征相比，预训练的多模式密集表示可能会导致性能下降，特别是在封装交互关系时。这一观察结果意味着，ID特征在建模交互协作信号方面具有相对优势。因此，当代前沿方法将ID特征与多模式信息作为补充特征相结合，忽略了食谱之间的潜在语义关系。为了解决这个问题，我们提出了CLUSSL，这是一个采用聚类和自监督学习的新型食品推荐框架。具体来说，CLUSSL为每种模式制定了一个特定的图，其中包含离散/连续特征，从而将语义特征转化为结构表示。此外，CLUSSL通过图卷积运算获取与不同模式相关的食谱表示。提出了一个自监督学习目标，以促进从不同单模图导出的食谱表示之间的独立性。对真实世界数据集的全面实验证明，CLUSSL在性能方面始终优于最先进的推荐基准。

提出一种新的食品推荐框架，旨在解决现有方法中多模态表示的性能下降问题，同时利用聚类和自监督学习来捕捉食谱之间的潜在语义关系。

提出了一种模态特定的图形式来转换语义特征为结构表示，并通过图卷积操作获取不同模态的食谱表示，同时引入自监督学习目标来促进不同单模图形式下的独立学习。

论文的实验结果表明，该方法在真实数据集上表现优于当前最先进的推荐算法。该框架的亮点在于使用了聚类和自监督学习来优化多模态表示，并提高了推荐性能。

在最近的相关研究中，也有一些关于食品推荐的论文，如《Multi-Task Learning for Food Recommendation》和《A Survey of Food Recommendation Systems: From Content-Based to Hybrid Systems》等。