Request-Only Optimization for Recommendation Systems

深度学习推荐模型（DLRMs）是当今世界上规模最大的机器学习应用之一。工业级的DLRMs使用PB级的推荐数据进行训练，以每天服务数十亿用户。为了充分利用用户长期历史中的丰富信号，这些推荐模型的复杂度被不断提升，目前已达到每个训练样本需要进行万亿次浮点运算（TFLOPs）的级别。这种规模的模型，加上巨大的训练数据量，迫切需要新的存储方式和训练算法，以高效地提升这些复杂推荐系统的质量。本文提出了一种“仅请求优化”（Request-Only Optimizations，ROO）的训练与建模范式。ROO能够同时提升推荐系统的存储效率、训练效率以及模型质量。我们通过数据（即仅请求数据）、基础设施（即基于仅请求的数据处理流水线）和模型架构（即仅请求神经网络架构）的整体协同设计，全面应对这一挑战。在我们的ROO训练与建模范式中，将用户请求作为训练数据的基本单位。相比以往以用户单次展示（impression）为单位的做法，这种新设计在数据记录中天然实现了特征去重，从而节省了数据存储空间。其次，通过在一个请求所包含的多个展示之间去除计算和通信的重复，这一新范式使得大规模神经网络架构（例如生成式推荐模型（GRs）及其他适合仅请求模式的架构）能够更有效地捕捉用户的兴趣信号。

论文旨在解决工业级深度学习推荐模型（DLRMs）在存储、训练效率和模型质量上的挑战。由于推荐系统需要处理海量数据并服务于数十亿用户，如何在保证模型质量的前提下提高训练和存储效率成为一个关键问题。这个问题是推荐系统领域长期存在的核心挑战，但随着模型复杂度和数据量的爆炸性增长，它成为一个亟需新方法解决的新问题。

论文提出了一种新的训练与建模范式：Request-Only Optimizations（ROO）。该方法将用户请求（request）作为训练的基本单位，而非传统的展示（impression）单位。这种设计天然支持特征去重，减少了数据存储需求，同时在计算和通信上实现了跨多个展示的去重优化，从而提升了训练效率，并支持更复杂的神经网络架构（如Generative Recommenders）来更好地捕捉用户兴趣。

1. ROO通过以请求为单位进行训练，实现了数据存储的显著压缩。 2. 在多个展示共享同一请求的上下文中，ROO有效减少了重复计算和通信开销。 3. 支持更复杂的模型架构，如生成式推荐系统（Generative Recommenders），提升推荐质量。 4. 实验表明ROO在保持甚至提升模型性能的前提下，显著提高了训练效率。 5. 未来值得探索ROO在更多类型推荐模型中的应用，并进一步优化其分布式训练与推理流程。

1. Deep Learning for Web-Scale Recommender Systems (2020) 2. Efficient Training of Large-Scale Recommendation Models with Row-wise Adaptive Learning Rates (2021) 3. Sustainable AI: Energy Efficiency in Large-Scale Recommender Systems (2022) 4. Generative Recommenders: A New Paradigm for Personalized Content Generation (2023) 5. TuringRec: A Unified Framework for Large-Scale Recommendation Systems at Microsoft (2022)