美团内部深度定制的TensorFlow版本，基于原生TensorFlow 1.x架构与接口，从大规模稀疏参数的支持、训练模式、分布式通信优化、流水线优化、算子优化融合等多维度进行了深度优化。在推荐系统场景中，分布式扩展性提升10倍以上，单位算力性能也有显著提升，并在美团内部业务中大量使用，本文介绍了相关的优化与实践工作。

目录：

  • 1 背景

  • 2 大规模训练优化挑战

    • 2.1 业务迭代带来的挑战

    • 2.2 系统负载分析

  • 3 优化实践

    • 3.1 大规模稀疏参数介绍

    • 3.2 分布式负载均衡优化

    • 3.3 通信优化

    • 3.4 延迟优化

    • 3.5 单实例PS并发优化

    • 3.6 单位算力吞吐优化

  • 4 大规模稀疏算法建模

  • 5 总结与展望

内容中包含的图片若涉及版权问题，请及时与我们联系删除