论文：Kraken: Memory-Efficient Continual Learning for Large-Scale Real-Time Recommendations 作者： Minhui Xie (清华; Kuaishou Technology); Kai Ren (Kuaishou Technology); Youyou Lu (清华); Guangxu Yang, Qingxing Xu, and Bihai Wu (Kuaishou Technology); Jiazhen Lin (清华); Hongbo Ao and Wanhong Xu (Kuaishou Technology); and Jiwu Shu (清华) 时间：2020/11 会议：The International Conference for High Performance Computing, Networking, Storage, and Analysis

现代推荐系统常使用深度学习(DL)模型，通过大量数据和模型参数来提升模型精度。然而，目前的开源DL框架，如TensorFlow和PyTorch，对于具有Tb级别参数量的推荐模型的可扩展性较低。

为了有效地从具有大量训练数据的数据流中学习大规模推荐模型，本文引入了一个称为Kraken的连续学习系统。Kraken包含一个特殊的参数服务实现模块，它动态地适应快速变化的稀疏特征集，用于持续地训练推荐模型。Kraken提供了一种稀疏感知训练系统，该系统对密集和稀疏参数使用不同的学习优化器，以减少内存开销。通过真实数据集进行的大量实验证实了Kraken的有效性和可扩展性。Kraken可以在保持模型性能的同时，利用相同的内存资源提高推荐任务的准确性。

内容中包含的图片若涉及版权问题，请及时与我们联系删除