MLPerf 训练是一个完整的系统基准测试，用于测试机器学习模型、软硬件等。上一轮 MLPerf 训练基准（v1.0）发布于 5 个月前，与之相比，本次最佳基准测试结果提高了 2.3 倍，在软硬件和系统规模方面都有了实质性的改进。
MLPerf 训练基准的内容由封闭式和开放式两个部分组成。开放式区别于封闭式的地方是，开放式的参与者可以提交各种模型，而封闭式为确保一个相对公平的竞争环境，只允许提交相同的参考模型。
值得一提的是，谷歌在本次基准测试的开放式部分提交了之前从未公开过的新版 BERT 自然语言程序。
新的 BERT 程序规模比通行的 BERT 标准版本大了 3 个数量级，神经网络参数达到 4810 亿个，而标准版 BERT 只有 3.4 亿个参数。更多的参数通常意味着需要更多的计算能力。
据了解，为了得到更大的 BERT 模型，谷歌使用的计算机搭载了 2048 个 TPU（Tensor Processing Unit）芯片。与英伟达的 GPU 不同，TPU 是谷歌针对机器学习专门定制的芯片。此“2048-TPU 系统”目前可以通过谷歌云服务获得。
谷歌表示，这一新颖的语言模型反映了 AI 规模日益增长的重要性。
谷歌还说，其能够以 63% 的效率运行庞大的 BERT 模型，这比英伟达和微软共同开发的 Megatron-Turing 语言模型 52% 的效率要好。该效率是通过相对于理论容量每秒执行的浮点运算数量来衡量的。
构建越大的 AI 深度学习程序，越需要使用更多的 GPU 芯片或新型加速器芯片。研究人员认为，程序的准确性随着 AI 规模的增加而增加。
参考：
[1]https://www.zdnet.com/article/google-uses-mlperf-competition-to-showcase-performance-on-gigantic-version-of-bert-language-model/
[2]https://mlcommons.org/en/news/mlperf-training-v11/
[3]谷歌首次展示新版语言模型BERT，参数达4810亿个.
https://mp.weixin.qq.com/s/SMHIh_H_r6uvuwK3iqQncA内容中包含的图片若涉及版权问题，请及时与我们联系删除
评论
沙发等你来抢