External Large Foundation Model: How to Efficiently Serve Trillions of Parameters for Online Ads Recommendation

广告推荐是在线广告系统的一项重要服务，并且一直受到积极研究。最近的研究表明，扩大推荐模型的规模和采用先进的设计可以显著提高性能。然而，随着模型规模的增大，这些先前的研究与工业应用之间的差距显著增加，因为它们常常忽视了两个在工业级应用中的基本挑战。首先，为了保证模型能够顺利部署，训练和推理的预算受到限制，超出这一限制可能会导致延迟并影响用户体验。其次，大量数据以流式方式到达，并且数据分布会随着新用户/广告的加入和现有用户/广告的离开而动态变化。我们提出了外部大型基础模型（ExFM）框架来应对这些被忽视的挑战。具体来说，我们开发了外部蒸馏技术和数据增强系统（DAS），以控制训练和推理的计算成本，同时保持高性能。我们将教师模型设计成一个基础模型（FM），它可以为多个作为垂直模型（VMs）的学生模型提供服务，从而分摊其构建成本。我们提出了辅助头（Auxiliary Head）和学生适配器（Student Adapter），以缓解由于流式数据问题导致的基础模型和垂直模型之间的数据分布差异。在内部工业级应用和公共数据集上的综合实验表明，ExFM框架带来了显著的性能提升。

该论文试图解决在线广告系统中推荐模型在工业规模应用时面临的两个关键挑战：1) 训练和推理的计算成本受限，超预算可能导致延迟并影响用户体验；2) 数据流模式下数据分布动态变化，新用户/广告不断加入而旧用户/广告离开系统。这是一个长期存在的问题，但以往的研究往往忽视了这些实际应用中的限制。

论文提出了External Large Foundation Model (ExFM)框架，通过外部蒸馏和数据增强系统（DAS）来控制训练和推理的计算成本，同时保持高性能。ExFM设计了一个类似基础模型（FM）的教师模型，可以服务于多个垂直模型（VMs），从而分摊其构建成本。此外，引入了辅助头（Auxiliary Head）和学生适配器（Student Adapter）以减少因数据流模式导致的数据分布差异。相比现有研究，ExFM更注重工业应用的实际需求，提供了一种更为实用且高效的解决方案。

该论文的主要亮点包括：1) 提出了ExFM框架，结合了外部蒸馏和数据增强系统，有效解决了工业级应用中的计算成本和数据流问题；2) 设计了教师-学生架构，利用一个强大的教师模型服务多个特定任务的学生模型，提高了资源利用率；3) 引入了辅助头和学生适配器机制，显著缓解了数据分布不一致的问题；4) 在内部工业规模应用和公共数据集上进行了广泛实验，验证了ExFM的有效性；5) 研究团队表示未来将开源代码，便于学术界和工业界的进一步研究。

最近在这个领域中，相关的研究还包括：1) 'Scalable and Efficient Training of Large-scale Recommendation Models' 探讨了大规模推荐模型的高效训练方法；2) 'Adaptive Data Augmentation for Continuous Learning in Recommender Systems' 研究了数据增强技术在推荐系统中的应用；3) 'Federated Learning for Personalized Advertising' 关注了联邦学习在个性化广告中的应用；4) 'Streaming Data Processing in Real-time Recommendation Systems' 探讨了实时推荐系统中流数据处理的方法。