Collaborative Filtering Based on Diffusion Models: Unveiling the Potential of High-Order Connectivity

最近的一项研究表明，扩散模型非常适合建模推荐系统中用户-物品交互的生成过程，因为它们具有去噪的特性。然而，现有的基于扩散模型的推荐系统没有明确利用包含准确推荐所必需的关键协作信号的高阶连接性。为了解决这个问题，我们提出了一种新的基于扩散模型的协同过滤（CF）方法CF-Diff，它能够充分利用协作信号以及多跳邻居。具体来说，前向扩散过程向用户-物品交互添加随机噪声，而反向去噪过程则容纳了我们自己的学习模型，即跨注意力引导的多跳自编码器（CAM-AE），逐步恢复原始的用户-物品交互。CAM-AE由两个核心模块组成：1）辅助注意力自编码器模块，负责精确地学习用户-物品交互的潜在表示，同时保持模型的复杂性在可管理的水平；2）多跳交叉注意力模块，巧妙地利用高阶连接信息捕捉增强的协作信号。通过对三个真实数据集的全面实验，我们证明CF-Diff具有以下特点：（a）优越性：优于基准推荐方法，相比最佳竞争对手取得了高达7.29%的显著增益；（b）理论验证：减少计算量，同时确保我们模型生成的嵌入与原始交叉注意力的嵌入非常接近；（c）可扩展性：证明与用户或物品数量呈线性扩展的计算效率。

提出了一个新的基于扩散模型的协同过滤方法CF-Diff，旨在解决现有扩散模型推荐系统无法充分利用高阶连接性的问题。

CF-Diff使用前向扩散和反向去噪的方法，结合交叉注意力引导的多跳自编码器（CAM-AE）来恢复原始的用户-物品交互数据，并充分利用高阶连接性信息来捕获增强的协同信号。

实验结果表明，CF-Diff优于基准推荐方法，最高可达7.29％的增益；通过理论分析证明了计算效率的线性可扩展性；CAM-AE模型具有注意力机制和多跳交叉注意力模块，能够高效地学习用户-物品交互的潜在表示。

在这个领域中的相关研究包括：基于协同过滤的推荐系统、基于深度学习的推荐系统、扩散模型在推荐系统中的应用等。