链接：https://arxiv.org/pdf/2202.05924.pdf

 

计算、数据和算法的进步是引导现代机器学习 (ML) 进步的三个基本因素。本文研究了最容易量化的因素的趋势——计算。

文章表明，在 2010 年之前，训练计算的增长符合摩尔定律，大约每 20 个月翻一番。 自 2010 年代初深度学习问世以来，训练计算的扩展速度加快，大约每 6 个月翻一番。 2015 年末，随着公司开发大规模 ML 模型，对训练计算的要求提高了 10 到 100 倍，出现了一种新趋势。 基于这些观察，本文将 ML 计算的历史分为三个时代：深度学习前时代、深度学习时代和大规模时代。 总体而言，本文的工作强调了训练高级 ML 系统的快速增长的计算需求。

内容中包含的图片若涉及版权问题，请及时与我们联系删除