当前,各式各样深度学习框架的发展充分赋能机器学习,尤其是深度学习领域,为开发者提供了极致便利。在本文中,Waymo 软件工程师 Lin Yuan 细数了二十一世纪以来深度学习框架的发展历程,并划分为了石器、青铜、铁器、罗马和工业化时代。

石器时代(21 世纪初) 有一些工具可以用来描述和开发神经网络。这些工具包括 MATLAB、OpenNN、Torch 等,它们要么不是专门为神经网络模型开发定制的,要么拥有复杂的用户 api,缺乏 GPU 支持。

青铜时代(~2012 年) 一些早期的深度学习框架,如 Caffe、Chainer 和Theano 应运而生。

铁器时代(2015 ~ 2016) AlexNet 的成功引起了计算机视觉领域的高度关注,并重新点燃了神经网络的希望,大型科技公司加入了开发深度学习框架的行列。

罗马时代(2019 ~ 2020) 深度学习框架经过一轮激烈的竞争,最终形成了两大「帝国」:TensorFlow 和 PyTorch 的双头垄断。

工业时代(2021+) 深度学习在自动驾驶、个性化推荐、自然语言理解到医疗保健等广泛领域取得了巨大成功,带来了前所未有的用户、开发者和投资者浪潮。

展望未来,有几个技术趋势有望成为下一代深度学习框架的主流:

1,基于编译器的算子(operator)优化。 2,统一的 API 标准。 3,数据搬运作为一等公民。

点击阅读详细内容

内容中包含的图片若涉及版权问题,请及时与我们联系删除