Accelerating Matrix Factorization by Dynamic Pruning for Fast Recommendation

矩阵分解（MF）是推荐系统（RS）中广泛使用的协同过滤（CF）算法，由于其高预测准确性、灵活性和在大数据处理中的高效性而受到青睐。然而，随着当前RS中用户/项目数量的大幅增加，训练MF模型的计算复杂度大大增加。许多现有研究通过投入额外的计算资源或利用并行系统来加速MF，引入了大量成本。本文提出了算法方法来加速MF，而不引入任何额外的计算资源。具体而言，我们观察到，在考虑一定阈值时，分解特征矩阵中存在细粒度结构稀疏性。细粒度结构稀疏性会导致在矩阵乘法和潜在因子更新过程中出现大量不必要的操作，增加了MF训练过程的计算时间。基于这一观察，我们首先提出了基于联合稀疏性对特征矩阵进行重新排列的方法，这可能使具有较小索引的潜在向量比具有较大索引的潜在向量更密集。特征矩阵重新排列的目的是限制后面进行的剪枝过程引起的误差。然后，我们提出了通过早期停止过程在矩阵乘法和潜在因子更新过程中剪枝不重要的潜在因子的方法。剪枝过程根据不同用户/项目的潜在因子的稀疏性动态执行，以加速过程。实验表明，与传统的MF训练过程相比，我们的方法可以实现1.2-1.65倍的加速，但误差增加高达20.08%。我们还证明了所提出的方法适用于考虑不同超参数的情况，包括优化器、优化策略和初始化方法。

本文旨在提高协同过滤算法中矩阵分解的训练速度，而不引入任何额外的计算资源。在当前推荐系统中，用户和物品数量的增加使得矩阵分解的计算复杂度大大增加。

本文提出了算法方法来加速矩阵分解，没有引入任何额外的计算资源。具体来说，本文观察到在某个阈值时，分解特征矩阵中存在细粒度的结构稀疏性，这会导致在矩阵乘法和潜在因子更新过程中出现大量的不必要操作，从而增加MF训练过程的计算时间。基于这个观察，本文首先提出了基于联合稀疏性的特征矩阵重排，然后通过早停止过程剪枝不重要的潜在因子。

本文的实验表明，与传统的MF训练过程相比，本文的方法可以实现1.2-1.65倍的加速，但误差会增加高达20.08%。本文的方法适用于不同的超参数，包括优化器、优化策略和初始化方法。

近期在这个领域中，也有一些相关的研究，如《A Survey of Matrix Factorization Techniques for Recommender Systems》、《Matrix Factorization Techniques for Recommender Systems》等。