Auto-Encoding or Auto-Regression? A Reality Check on Causality of Self-Attention-Based Sequential Recommenders

最近序列推荐领域中，Auto-Encoding（AE）和Auto-Regression（AR）的比较成为了一个越来越重要的话题。在这个讨论的核心是BERT4Rec和SASRec的比较，它们作为自我注意力序列推荐器的代表性AE和AR模型。然而，由于缺乏公平和受控实验环境以及存在许多与特征选择、建模选择和优化算法相关的混淆因素，这场辩论的结论仍不确定。在本研究中，我们旨在通过进行一系列受控实验来回答这个问题。我们首先通过对SASRec和BERT4Rec进行系统重新评估，追溯了AE/AR辩论的起源，发现AR模型在序列推荐中通常优于AE模型。此外，我们发现，当使用包括额外特征、建模方法和优化技术在内的自定义设计空间时，AR模型进一步优于AE模型。此外，AR模型的性能优势在更广泛的HuggingFace transformer生态系统中仍然存在。最后，我们从低秩逼近和归纳偏差两个关键角度提供AE/AR性能的潜在解释和见解。我们在https://github.com/yueqirex/ModSAR上提供我们的代码和数据。

论文试图比较Auto-Encoding (AE)和Auto-Regression (AR)在序列推荐中的效果，解决AE/AR的争议问题。

论文通过一系列受控实验发现，相比AE模型，AR模型在序列推荐中表现更好。当使用自定义设计空间时，AR模型进一步优于AE模型。此外，在HuggingFace transformer生态系统中，AR模型的性能优势仍然存在。

论文使用了SASRec和BERT4Rec作为代表性的AE和AR模型，并提供了代码和数据。从低秩近似和归纳偏差两个关键视角提供了AE/AR性能的潜在解释和见解。

最近的相关研究包括《Self-Supervised Learning for Sequential Recommendation with Global and Local Negative Sampling》、《Next Item Recommendation with Self-Attention》等。