DiffuseHigh: Training-free Progressive High-Resolution Image Synthesis through Structure Guidance

最近大规模生成模型的激增推动了计算机视觉领域的广泛发展。特别是，文本到图像扩散模型由于其高保真度图像生成的潜力，在不同领域得到了广泛应用。然而，现有的大规模扩散模型仅限于生成高达1K分辨率的图像，远远不能满足当代商业应用的需求。直接采样更高分辨率的图像通常会产生带有物体重复和扭曲形状等瑕疵的结果。解决上述问题通常需要在更高分辨率数据集上训练或微调模型。然而，这项工作由于收集大规模高分辨率内容和大量计算资源的困难而面临巨大挑战。虽然之前的一些工作提出了替代方案，但往往无法产生令人信服的结果。在本研究中，我们探索了扩散模型在超出其原始能力的更高分辨率上的生成能力，并提出了一种新颖的渐进式方法，充分利用生成的低分辨率图像来指导更高分辨率图像的生成。我们的方法消除了额外训练或微调的需要，从而显著降低了计算成本的负担。广泛的实验和结果验证了我们方法的效率和功效。项目页面：https://yhyun225.github.io/DiffusHigh/

论文旨在探究扩展文本到图像扩散模型的生成能力，以生成更高分辨率的图像，同时避免高分辨率数据集的需求和额外的训练或微调成本。

论文提出了一种新的渐进式方法，利用生成的低分辨率图像来引导生成更高分辨率的图像，从而避免了额外的训练或微调成本。

论文的实验结果表明，该方法在生成更高分辨率的图像时具有高效性和有效性。此外，作者还提供了开源代码和项目页面。

最近的相关研究包括：《Generative Adversarial Networks》、《Progressive Growing of GANs for Improved Quality, Stability, and Variation》、《High-Fidelity Image Generation With Fewer Labels》等。