最近,吴恩达在最新一期人工智能周讯《The Batch》(Oct 12,2022)撰文,聊了关于GPU、芯片的看法,下面是中文编译的要点内容,点击这里阅读英文全文:

亲爱的朋友们:

近十年来,人工智能的兴起得益于GPU及其他加速器芯片速度的提高和成本的降低。这个趋势会持续多久?过去一个月发生了一些可能影响GPU价格变化的事件。

9月,支持以太加密货币的主要区块链以太坊(Ethereum)完成了一次转换,大大减少了所需的计算量。这种转变被称为“合并”(the Merge),它应该能够通过消耗更少的能源来造福自然环境。它还将减少对GPU进行加密货币挖掘的需求。(比特币区块链的计算成本仍然很高。)我预计较低的需求将有助于降低GPU价格。

另一方面,英伟达首席执行官黄仁勋近日宣布,预计芯片价格下跌的时代已经结束。他说,摩尔定律已经过时,这一长期趋势使大约每两年可以在硅的某一特定区域内安装的晶体管数量翻了一番。这一预测有多准确尚待观察。毕竟,早年间许多关于摩尔定律已经过时的报道都被证明是错误的。英特尔就笃定它会持续下去。

也就是说,GPU性能的改进已经超过了摩尔定律的速度,因为英伟达已经优化了其芯片以处理神经网络,而用于处理更大编程范围的CPU的改进速度已经落后。因此,即使芯片制造商无法用晶体管更密集地封装硅,芯片设计者也可以持续进行优化以提高AI的性价比。



尽管全球范围内对芯片的生产和需求出现波动,我对人工智能从业者将获得他们需要的处理能力依然持乐观态度。虽然使用更廉价的计算在更大的数据集上训练更大的神经网络来推动人工智能已取得了很大的进步,但现在其他创新引擎也在推动人工智能的发展。以数据为中心的人工智能、小数据、更高效的算法,以及正在进行的使人工智能适应数千(百万?)新应用程序的开发工作将推动事情向前发展。

近年来,半导体初创公司经历了一段艰难的时期,因为当他们赶上市场领导者英伟达提供的任何特定产品时,英伟达的重心却开始转向研发速度更快、更便宜的产品了。如果芯片价格停止下跌,他们将获得更大的市场机会来制造具有竞争力的芯片——尽管依然存在重大的技术壁垒。人工智能加速器行业仍然充满活力。英特尔和AMD正在进行重大投资,越来越多的公司正在MLPerf基准(用以衡量芯片性能)上进行较量。我相信在云端和边缘设备上进行训练和推理的选项将继续被扩展。

请不断学习!
吴恩达

内容中包含的图片若涉及版权问题,请及时与我们联系删除