PipeFusion: Displaced Patch Pipeline Parallelism for Inference of Diffusion Transformer Models

本文介绍了PipeFusion，一种新颖的方法，利用多GPU并行处理解决使用扩散变压器（DiT）模型生成高分辨率图像时面临的高计算和延迟挑战。PipeFusion将图像分割成块，并将网络层分布在多个设备上。它采用管道并行方式来编排通信和计算。通过利用相邻扩散步骤输入之间的高相似性，PipeFusion通过重用一步陈旧的特征图来为当前步骤提供上下文，从而消除了管道中的等待时间。我们的实验表明，它可以生成更高的图像分辨率，而现有的DiT并行方法遇到OOM时则无法生成。PipeFusion显着降低了所需的通信带宽，使DiT推断可以托管在通过PCIe连接的GPU上，而不是更昂贵的NVLink基础设施上，从而大大降低了为服务DiT模型而产生的总体运营费用。我们的代码公开可用于https://github.com/PipeFusion/PipeFusion。

解决问题：本文旨在解决使用Diffusion Transformers（DiT）模型生成高分辨率图像时所面临的高计算和延迟挑战。

关键思路：PipeFusion采用多GPU并行计算的方式，将图像分成块并将网络层分布在多个设备上。它采用管道并行方式来编排通信和计算。通过利用相邻扩散步骤输入之间的高相似性，PipeFusion通过重复使用一步过时的特征图来为当前步骤提供上下文，从而消除了管道中的等待时间。

其他亮点：PipeFusion可以生成更高分辨率的图像，而现有的DiT并行方法则会遇到OOM问题。它显著降低了所需的通信带宽，使DiT推理可以在通过PCIe连接的GPU上托管，而不是更昂贵的NVLink基础设施，从而大大降低了为服务DiT模型而产生的总体运营成本。作者公开了代码。

相关研究：最近的相关研究包括：1. Image GPT; 2. DALL-E; 3. CLIP。