作者：Xiangru Lian, Binhang Yuan, Ji Liu等

简介：本文介绍了一种基于深度学习推荐系统训练框架。随着模型的嵌入层可以包含整个模型的99.99%以上大小，这是非常占用内存的；而其余的神经网络计算量越来越大。在本文中，作者通过谨慎的方式解决了这一挑战优化算法和分布式的协同设计系统架构。具体来说，为了保证训练效率和训练精度，作者设计了一种新颖的混合训练算法，其中嵌入层和密集神经网络由不同的同步机制处理；然后作者构建了一个名为Persia的系统以支持这种混合训练算法。理论论证和实证研究已经进行了多达百万亿个参数的研究，以证明Persia的系统设计和实施是合理的。

代码下载：https://github.com/PersiaML/Persia

论文下载：https://arxiv.org/pdf/2111.05897.pdf

内容中包含的图片若涉及版权问题，请及时与我们联系删除