Evaluating the performance-deviation of itemKNN in RecBole and LensKit

本研究探讨了基于物品的k-最近邻算法（ItemKNN）在RecoBole和LensKit推荐系统库中的性能。使用四个数据集（Anime，Modcloth，ML-100K和ML-1M），我们评估了每个库的效率、准确性和可扩展性，主要关注归一化折扣累积增益（nDCG）。我们的结果表明，RecBole在ML-100K数据集的三个指标中的两个指标上优于LensKit：它实现了比LensKit高18％的nDCG，14％的高精度和35％的低召回率。为确保公平比较，我们调整了LensKit的nDCG计算方法以匹配RecBole的方法。这种对齐使性能更加可比，LensKit的nDCG为0.2540，RecBole为0.2674。相似矩阵计算的差异被确定为性能偏差的主要原因。在修改LensKit以仅保留前K个相似项之后，两个库在所有数据集上显示出几乎相同的nDCG值。例如，在具有相同随机种子的ML-1M数据集上，两者均实现了0.2586的nDCG。最初，LensKit的原始实现只在ModCloth数据集中超过了RecBole。

比较RecBole和LensKit推荐系统库中基于物品的k近邻算法在不同数据集上的性能表现，特别关注nDCG指标。

通过实验比较RecBole和LensKit在不同数据集上的性能表现，发现nDCG指标的差异主要是由于相似矩阵计算的不同导致的，同时修改LensKit的相似矩阵计算方法后，两个库的性能表现基本一致。

实验使用了四个数据集，对比了RecBole和LensKit在不同指标上的表现，发现RecBole在ML-100K数据集上的nDCG值比LensKit高18%，精确度高14%，召回率低35%；同时发现相似矩阵计算是造成性能差异的主要原因。实验结果表明，修改LensKit的相似矩阵计算方法后，两个库的性能表现基本一致。

近期相关研究包括基于深度学习的推荐算法、基于用户的协同过滤算法等。相关论文包括《Deep Learning based Recommender System: A Survey and New Perspectives》、《User-Based Collaborative Filtering Recommendation Algorithms on Mobile Social Networks》等。