Understanding Data Movement in Tightly Coupled Heterogeneous Systems: A Case Study with the Grace Hopper Superchip

异构超级计算机已经成为高性能计算的标准。特别是GPU在加速器领域占据主导地位，为并行工作负载提供了前所未有的性能，并在人工智能和气候建模等领域开启了新的可能性。随着许多工作负载变得有限于内存，提高系统内部通信延迟和带宽已成为开发新架构的主要推动力。 Grace Hopper超级芯片（GH200）是朝着紧密耦合的异构系统方向迈出的重要一步，其中所有CPU和GPU共享统一的地址空间，并支持对系统上所有主存储器的透明细粒度访问。我们对瑞士国家超级计算中心Alps超级计算机上四个GH200节点的节点内和节点间内存操作进行了表征，并展示了在示例工作负载上进行仔细内存布局的重要性，强调了权衡和机会。

GH200超级芯片是一种新型的异构计算架构，论文试图研究GH200在内存操作方面的性能，并探讨内存布局对工作负载的影响。

GH200超级芯片提供了统一的地址空间，支持所有CPU和GPU对主内存的透明细粒度访问，其内存操作性能对于工作负载的影响十分重要。

论文对GH200超级芯片的内存操作进行了详细的分析和评估，并探讨了内存布局对于工作负载的影响。实验使用了新的瑞士国家超级计算中心Alps超级计算机的四个Quad GH200节点，并对不同的工作负载进行了测试。

最近的相关研究主要集中在异构计算和内存操作方面，例如“Optimizing Memory Placement for Heterogeneous Systems with GPUs”和“Characterizing and Mitigating Memory Contention in a GPU-accelerated Database System”。