Scaling Law of Large Sequential Recommendation Models

最近，神经网络的扩展已经显示出在各个领域中提高模型能力的巨大潜力。具体来说，模型性能与模型大小或数据大小呈现幂律关系，这为大规模模型的开发提供了重要指导。然而，在推荐系统中，用户行为模型的扩展效应仍然存在有限的理解，其中独特的数据特征（例如数据稀缺性和稀疏性）在探索推荐任务的扩展效应方面提出了新的挑战。在本研究中，我们专注于研究大规模顺序推荐模型中的扩展规律。特别地，我们考虑了一个纯ID-based的任务公式，其中用户的交互历史被格式化为一个项目ID的时间序列。我们不包含任何的边缘信息（例如项目文本），因为我们想探索从用户行为的角度看扩展规律的保持情况。通过特别改进的策略，我们将模型大小扩展到了0.8B个参数，使得我们能够探索各种模型大小的扩展效应。作为主要发现，我们经验证明，即使在数据受限的情况下，这些训练模型的扩展规律仍然成立。然后，我们拟合了扩展规律的曲线，并成功预测了两个最大测试模型规模的测试损失。此外，我们考虑了推荐系统中的独特问题（例如冷启动，鲁棒性，长期偏好），检查了扩展效应对五个具有挑战性的推荐任务的性能优势。我们发现，扩大模型大小可以极大地提高这些具有挑战性的任务的性能，这再次验证了大型推荐模型的好处。

论文试图验证在推荐系统中，神经网络模型的规模与数据量与模型性能之间是否存在类似于幂律分布的关系。此外，论文还试图探究这种关系在数据稀疏的情况下是否仍然成立。

论文使用了纯ID序列作为输入，使用特殊的方法将模型规模扩大到了0.8B参数，并在这个规模下验证了神经网络模型规模与数据量与模型性能之间存在幂律分布关系的结论。同时，论文还发现在推荐系统中，增大模型规模可以显著提高模型性能。

论文使用了纯ID序列作为输入，使用特殊的方法将模型规模扩大到了0.8B参数，并在这个规模下验证了神经网络模型规模与数据量与模型性能之间存在幂律分布关系的结论。论文还设计了五个推荐系统中的挑战性任务，并验证了增大模型规模可以显著提高模型性能的结论。论文使用了公开数据集，并公开了代码。

最近在推荐系统领域中，还有一些相关的研究被进行。例如，"BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer"，"Neural Collaborative Filtering vs. Matrix Factorization Revisited"等。