One-Step Image Translation with Text-to-Image Models

在这项工作中，我们解决了现有条件扩散模型的两个限制：由于迭代去噪过程而导致的推理速度较慢和对成对数据进行模型微调的依赖性。为了解决这些问题，我们通过对抗学习目标引入了一种通用方法，将单步扩散模型适应于新任务和领域。具体而言，我们将香草潜在扩散模型的各种模块整合到一个具有小可训练权重的单端到端生成器网络中，增强了其保留输入图像结构的能力，同时减少了过度拟合。我们证明，在未配对的情况下，我们的模型CycleGAN-Turbo在各种场景转换任务中优于现有的基于GAN和扩散的方法，例如将白天转换为黑夜以及添加/移除雾、雪和雨等天气效果。我们将我们的方法扩展到配对的设置，其中我们的模型pix2pix-Turbo与最近的作品Control-Net for Sketch2Photo和Edge2Image相当，但只需一步推理。这项工作表明，单步扩散模型可以作为一系列GAN学习目标的强大支撑。我们的代码和模型可在https://github.com/GaParmar/img2img-turbo上获得。

如何解决现有条件扩散模型中的迭代降噪过程和对模型微调的依赖性问题？

将原始的潜在扩散模型的各个模块整合到单个端到端生成器网络中，通过对抗性学习目标来适应新的任务和领域，从而提高模型的推理速度和泛化能力。

论文提出的模型CycleGAN-Turbo在未配对的情况下，对于各种场景转换任务（如日夜转换和添加/去除雾、雪和雨等天气效应）优于现有的基于GAN和扩散的方法。同时，论文还将该方法扩展到配对的情况下，pix2pix-Turbo模型对于Sketch2Photo和Edge2Image等任务表现与Control-Net相当，但具有单步推理的优势。

在最近的相关研究中，还有一些使用GAN进行图像转换的工作，如CycleGAN、Pix2Pix和StarGAN等。同时，还有一些使用扩散模型进行图像生成和修复的工作，如DDPM和DPIG等。