CPU 不适合模型推理和训练？那已经是老刻板印象了，英特尔® 至强® 可扩展处理器搭配 AVX-512 指令集，单核一次能同时进行 128 次 BF16 浮点运算，这对于一般的深度学习模型不论在训练还是推理已经是足够的了。


说到模型训练，很多算法工程师首先想到的就是各种深度学习框架，以及 CUDA、cuDNN、NCCL 等 GPU 训练环境，似乎我们很少优先考虑在 CPU 上直接训练模型。这可能是在潜意识里，我们将 CPU 视为不适合并行计算的设备，思考着，也许 CPU 训练模型不仅速度慢，同时内存等资源占用也不少。

但实际上，经过这么多年的发展，像英特尔® 至强® 可扩展处理器这种 AI build-in 的 CPU 在支持模型训练上已经有了极大的提升，基本上每一代 CPU 都比上一代提升个 1.5 倍左右，运用或不运用 CPU 模型训练加速库的差别，能达到 8 倍。因此整体上 CPU 的训练速度已经非常可观了，再加上相比显存更易扩展的 CPU 内存，很多推荐算法、排序模型、图片 / 影像识别等应用，已经在大规模使用 CPU 作为基础计算设备。

本文将主要介绍近几年 英特尔® 至强® 可扩展处理器 在模型训练上的努力与进展，包括 AVX-512 指令集、DL Boost 低精度训练模型等等；用这一套配置实操训练模型也很简单，这里我们将简单看看 英特尔® 至强® 可扩展处理器 上的模型该怎么训练最为高效；最后，相比高昂的 GPU，CPU 其实是一种性价比很高的训练硬件，也非常适合对结果准确度要求高兼顾成本考量的制造业、图像处理与分析等行业客户的深度学习模型。

内容中包含的图片若涉及版权问题，请及时与我们联系删除