Hyper-SD: Trajectory Segmented Consistency Model for Efficient Image Synthesis

最近，一系列考虑扩散的蒸馏算法被提出来缓解扩散模型（DMs）的多步推理过程中的计算负担。目前的蒸馏技术通常分为两个不同的方面：i）ODE轨迹保持；和ii）ODE轨迹重构。然而，这些方法存在严重的性能下降或领域转移的问题。为了解决这些限制，我们提出了Hyper-SD，这是一个新颖的框架，它协同地融合了ODE轨迹保持和重构的优点，同时在步骤压缩期间保持接近无损的性能。首先，我们引入轨迹分段一致性蒸馏来逐步执行预定义时间步长段内的一致性蒸馏，从高阶角度促进原始ODE轨迹的保持。其次，我们加入人类反馈学习来提高模型在低步骤范围内的性能，并减轻蒸馏过程中产生的性能损失。第三，我们整合分数蒸馏来进一步提高模型的低步生成能力，并提供了第一次尝试利用统一的LoRA来支持所有步骤的推理过程。广泛的实验和用户研究表明，Hyper-SD在1到8个推理步骤中均实现了SOTA的性能，适用于SDXL和SD1.5。例如，Hyper-SDXL在1步推理中的CLIP分数和Aes分数分别比SDXL-Lightning高了+0.68和+0.51。

本论文旨在解决Diffusion Models（DMs）中多步推理过程的计算开销问题，提出了Hyper-SD框架，旨在同时保留ODE Trajectory Preservation和Reformulation的优点，以及在步骤压缩期间保持近乎无损的性能。

Hyper-SD框架结合了Trajectory Segmented Consistency Distillation、人类反馈学习和score distillation等技术，以提高模型的性能和推理能力。

论文通过实验和用户研究证明，Hyper-SD在1到8个推理步骤上都达到了SOTA的性能，可以超过SDXL-Lightning等现有的方法。论文还提供了数据集和开源代码等信息。

与本论文相关的研究包括：Diffusion Models（DMs）、ODE Trajectory Preservation和Reformulation等技术的研究。