（机器翻译自NVidia的官方新闻稿，略有人工调整）

NVIDIA 今天在GTC 2022上发布了采用 NVIDIA Hopper™ 架构的下一代加速计算平台，主要是为了支持下一代 AI 数据中心。与前代产品相比，性能飞跃了一个数量级。

新架构以美国计算机科学家先驱 Grace Hopper 命名，继承了两年前推出的 NVIDIA Ampere 架构。

该公司还宣布了其首款基于 Hopper 的 GPU，即 NVIDIA H100，它包含 800 亿个晶体管。作为世界上最大和最强大的加速器，H100 具有突破性的功能，例如革命性的 Transformer 引擎和高度可扩展的 NVIDIA NVLink® 互连，用于推进巨大的 AI 语言模型、深度推荐系统、基因组学和复杂的数字双胞胎。

“数据中心正在成为人工智能工厂——处理和提炼大量数据以产生智能，”NVIDIA 创始人兼首席执行官黄仁勋说。 “NVIDIA H100 是全球人工智能基础设施的引擎，企业可以使用它来加速其人工智能驱动的业务。”

H100的技术突破

NVIDIA H100 GPU 在加速大规模 AI 和 HPC 方面树立了新标准，提供了六项突破性创新：

  • 世界上最先进的芯片——H100 由 800 亿个晶体管组成，采用先进的 TSMC 4N 工艺，专为 NVIDIA 的加速计算需求而设计，在加速 AI、HPC、内存带宽、互连和通信方面取得了重大进步，包括每秒近 5 TB 的外部连接。 H100 是第一款支持 PCIe Gen5 和第一款使用 HBM3 的 GPU，可实现 3TB/s 的内存带宽。 20 个 H100 GPU 可以维持相当于整个世界的互联网流量，使客户能够提供先进的推荐系统和大型语言模型，对数据进行实时推理。
  • 新的 Transformer 引擎——现在是自然语言处理的标准模型选择，Transformer 是有史以来最重要的深度学习模型之一。 H100 加速器的 Transformer Engine 旨在将这些网络加速到上一代的 6 倍，而不会损失准确性。
  • 第二代安全多实例 GPU——MIG 技术允许将单个 GPU 划分为七个更小的、完全隔离的实例，以处理不同类型的作业。 Hopper 架构通过在云环境中跨每个 GPU 实例提供安全的多租户配置，将 MIG 功能比上一代扩展了多达 7 倍。
    机密计算——H100 是世界上第一个具有机密计算能力的加速器，可以在处理 AI 模型和客户数据时保护它们。客户还可以将机密计算应用于医疗保健和金融服务等隐私敏感行业以及共享云基础设施的联合学习。
  • 第 4 代 NVIDIA NVLink——为加速最大的 AI 模型，NVLink 与新的外部 NVLink 交换机相结合，将 NVLink 扩展为服务器之外的扩展网络，以比上一代高 9 倍的带宽连接多达 256 个 H100 GPU NVIDIA HDR 量子 InfiniBand。
  • DPX 指令——新的 DPX 指令可加速动态规划——用于广泛的算法，包括路线优化和基因组学——与 CPU 相比最高可达 40 倍，与上一代 GPU 相比最高可达 7 倍。这包括在动态仓库环境中为自主机器人车队寻找最佳路线的 Floyd-Warshall 算法，以及用于 DNA 和蛋白质分类和折叠的序列比对的 Smith-Waterman 算法。
  • H100 的综合技术创新扩展了 NVIDIA 在 AI 推理和训练方面的领先地位，以使用大规模 AI 模型实现实时和沉浸式应用程序。 H100 将使聊天机器人能够使用世界上最强大的单片变压器语言模型 Megatron 530B，其吞吐量比上一代产品高出 30 倍，同时满足实时对话 AI 所需的亚秒级延迟。 H100 还允许研究人员和开发人员训练具有 3950 亿个参数的海量模型，例如 Mixture of Experts，速度提高 9 倍，将训练时间从几周缩短到几天。

NVIDIA H100 的广泛应用场景

NVIDIA H100 可以部署在各种类型的数据中心，包括本地、云、混合云和边缘。预计将于今年晚些时候在全球范围内由世界领先的云服务提供商和计算机制造商以及直接从 NVIDIA 提供。

NVIDIA 的第四代 DGX™ 系统 DGX H100 具有 8 个 H100 GPU，以新的 FP8 精度提供 32 petaflops 的 AI 性能，提供的规模可满足大型语言模型、推荐系统、医疗保健研究和气候科学的海量计算需求。

DGX H100 系统中的每个 GPU 都通过第四代 NVLink 连接，提供 900GB/s 的连接速度，是上一代的 1.5 倍以上。 NVSwitch™ 使所有八个 H100 GPU 都可以通过 NVLink 进行连接。一个外部 NVLink 交换机可以将下一代 NVIDIA DGX SuperPOD™ 超级计算机中的多达 32 个 DGX H100 节点联网。

Hopper 已获得领先云服务提供商阿里云、亚马逊网络服务、百度人工智能云、谷歌云、微软 Azure、甲骨文云和腾讯云的广泛行业支持，这些云服务提供商计划提供基于 H100 的实例。

全球领先的系统制造商预计将提供各种配备 H100 加速器的服务器，包括 Atos、BOXX Technologies、Cisco、Dell Technologies、Fujitsu、GIGABYTE、H3C、Hewlett Packard Enterprise、Inspur、Lenovo、Nettrix 和 Supermicro。

各种规模的 NVIDIA H100
H100 将采用 SXM 和 PCIe 外形尺寸，以支持广泛的服务器设计要求。还将提供融合加速器，将 H100 GPU 与 NVIDIA ConnectX®-7 400Gb/s InfiniBand 和以太网 SmartNIC 配对。

NVIDIA 的 H100 SXM 将在具有四路和八路配置的 HGX™ H100 服务器主板中提供，适用于将应用程序扩展到服务器中的多个 GPU 和跨多个服务器的企业。基于 HGX H100 的服务器为 AI 训练和推理以及数据分析和 HPC 应用程序提供最高的应用程序性能。

H100 PCIe 采用 NVLink 连接两个 GPU，提供的带宽是 PCIe 5.0 的 7 倍以上，为在主流企业服务器上运行的应用程序提供出色的性能。它的外形使其易于集成到现有的数据中心基础设施中。

H100 CNX 是一款全新的融合加速器，将 H100 与 ConnectX-7 SmartNIC 相结合，为 I/O 密集型应用提供突破性的性能，例如企业数据中心的多节点 AI 训练和边缘的 5G 信号处理。

基于 NVIDIA Hopper 架构的 GPU 还可以与具有超快 NVLink-C2C 互连的 NVIDIA Grace™ CPU 配对，与 PCIe 5.0 相比，CPU 和 GPU 之间的通信速度提高了 7 倍以上。这种组合——Grace Hopper 超级芯片——是一个集成模块，旨在服务于大规模 HPC 和 AI 应用程序。

NVIDIA 软件支持

NVIDIA H100 GPU 由强大的软件工具提供支持，使开发人员和企业能够构建和加速从 AI 到 HPC 的应用程序。这包括针对语音、推荐系统和超大规模推理等工作负载的 NVIDIA AI 软件套件的重大更新。

NVIDIA 还对其 CUDA-X™ 库、工具和技术集合发布了 60 多项更新，以加速量子计算和 6G 研究、网络安全、基因组学和药物发现方面的工作。

可得性

NVIDIA H100 将于第三季度开始供货。

要了解有关 NVIDIA Hopper 和 H100 的更多信息，请观看黄仁勋的 GTC 2022 主题演讲（YouTube），并免费注册 GTC 2022 以参加与 NVIDIA 和行业领导者的会议。

内容中包含的图片若涉及版权问题，请及时与我们联系删除