Repeated Padding as Data Augmentation for Sequential Recommendation

顺序推荐的目标是基于用户的历史交互提供个性化的建议。在训练顺序模型时，填充是一种广泛采用的技术，原因有两点：1）绝大多数模型只能处理固定长度的序列；2）基于批次的训练需要确保每个批次中的序列长度相同。通常使用特殊值0作为填充内容，它不包含实际信息并在模型计算中被忽略。这种常识性的填充策略引发了一个以前从未探讨过的问题：我们能否通过填充其他内容来充分利用这个空闲的输入空间，从而进一步提高模型性能和训练效率？本文提出了一种简单而有效的填充方法，称为RepPad（\textbf{Rep}eated \textbf{Pad}ding）。具体来说，我们使用原始交互序列作为填充内容，并在模型训练过程中将其填充到填充位置。这个操作可以执行有限次数或重复执行，直到输入序列的长度达到最大限制。我们的RepPad可以被看作是一种序列级别的数据增强策略。与大多数现有的方法不同，我们的方法不包含可训练参数或超参数，并且是一种即插即用的数据增强操作。在各种类别的顺序模型和五个真实世界的数据集上进行了广泛的实验，证明了我们方法的有效性和效率。在GRU4Rec上，平均推荐性能提高了60.3％，在SASRec上提高了24.3％。我们还从多个角度提供了RepPad有效性的深入分析和解释。我们将发布源代码，以确保我们实验的可重复性。

论文试图探索利用填充空间来进一步提高模型性能和训练效率的可能性。这是一个新问题。

论文提出了一种名为RepPad的填充方法，可以将原始交互序列用作填充内容，并在模型训练期间将其填充到填充位置。这种方法可以视为序列级数据增强策略，不需要可训练参数或超参数。

论文在各种顺序模型和五个真实世界数据集上进行了广泛的实验，证明了RepPad方法的有效性和效率。平均推荐性能提高了60.3％（在GRU4Rec上）和24.3％（在SASRec上）。论文还提供了深入的分析和解释，从多个角度解释了RepPad为什么有效。作者将发布源代码以确保实验的可重复性。

最近的相关研究包括：1）基于注意力机制的推荐系统；2）序列模型的各种改进和变体，如GRU和SASRec；3）数据增强技术在推荐系统中的应用。