最近，腾讯把这个名叫deepx_core的深度学习基础库正式对外开源。相比于PyTorch、TensorFlow等流行深度学习框架，这位选手不仅具有通用性，还针对高维稀疏数据场景进行了深度优化。也就是说，对于开发搜索、推荐、广告这样的深度学习应用，会更加友好易用。

根据项目介绍，deepxcore是一个通用的深度学习框架，使用C++11开发。基于deepxcore，可以快速开发张量计算/机器学习/深度学习/强化学习/图神经网络/无监督学习等应用。

稀疏张量一直是开源框架的痛点，但像搜索、推荐等算法应用，其实都是高维稀疏数据场景。为此，deepx_core设计并实现了稀疏张量和配套的operation，以原生的方式实现了稀疏模型。在分布式训练场景下，稀疏张量均匀分布在多台参数服务器上，模型规模能随着参数服务器数量增加而线性扩展。

deepxcore的另一个重要模块，是计算图。具体而言，deepxcore提供了一个支持自动求导的静态图引擎，支持100+ operation，覆盖几乎所有网络类型。

计算图引擎通常用在各种深度学习任务中。而一个完整的深度学习应用，主要包括以下模块的开发和使用：

  • 样本解析器
  • 特征抽取
  • 计算图
  • 优化器

在deepx_core中，样本解析器和优化器都是单独的模块。在内置样本解析器、优化器无法满足需求的情况下，都可以通过继承来增加新的解析器、优化器。

另外，因为基于C++开发，deepx_core具有高性能和跨平台的特点。

根据官方实验数据，基于deepx_core解决方案的性能普遍是开源框架的5-10倍。

来源：量子位

内容中包含的图片若涉及版权问题，请及时与我们联系删除