The Centre for the Governance of AI（查了一下这个机构有DeepMind背景）研究助理Lennart Heim博客文章中推算的数字。

在之前发布的论文“机器学习三个时代的计算趋势”（arxiv）中，Heim及其合作者发现机器学习可以按计算规模分成三个时代：

  • 前深度学习时代： 2010 年之前，训练计算的增长符合摩尔定律，大约每 20 个月翻一番。
  • 深度学习时代：自 2010 年代初深度学习问世以来，训练计算的扩展速度加快，大约每 6 个月翻一番。
  • 大模型时代：2015 年末，随着公司开发大规模 ML 模型，对训练计算的要求提高了 10 到 100 倍。

Heim的文章主要根据几个事实：

  • PaLM最后一遍训练，需要算力：2.56×10²⁴ (2.56e24) FLOPs
  • 模型在6144块TPU v4 芯片上训练了 1200 小时，在 3072 块 TPU v4 上训练了 336 个小时。

第一种算法：Google Cloud上租用TPU v3的话，32核的价格每小时是32美元。直接用来替换TPU v4（保守估计），成本是1700万。

第二种算法：如果按FLOP来计算，一块TPUv3芯片能提供大约123 TFLOPS(bfloat16)，这样计算出成本是1160万。

第三种算法：按NVidia V100计算，成本是900万美元。

有兴趣的同学可以读原文： https://blog.heim.xyz/palm-training-cost/

以及Reddit上的讨论。

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除