Nvidia A100 GPU相比于前一代V100 GPU，其算力提升主要来源于以下几方面：

  • 加入稀疏运算支持。深度学习中使用稀疏运算的概念从提出至今已经有差不多5年了，到了今天Nvidia终于把这个概念落地到了产品中。
  • 引入TF32数制。
  • 更强更多的流处理器（SM）。
  • 更大的片上存储和更快的内存接口。

除了算力之外，更重要的竞争壁垒提升来源于针对数据中心的GPU虚拟实例支持和互联方案，再次拉开了与其他云端领域芯片竞争对手的差距。

对于GPU国产化的启示：算力并非一切，对于分布式计算和虚拟化的支持也很重要。

内容中包含的图片若涉及版权问题，请及时与我们联系删除