UltraPixel: Advancing Ultra-High-Resolution Image Synthesis to New Peaks

Ultra-high-resolution image generation面临巨大挑战，如语义规划复杂度增加和细节合成困难，以及大量训练资源需求。我们提出了一种新颖的架构UltraPixel，利用级联扩散模型在单个模型中生成多个分辨率（例如，1K到6K）的高质量图像，同时保持计算效率。UltraPixel利用低分辨率图像的语义丰富表示在后期去噪阶段来指导高分辨率图像的整个生成，显著降低了复杂度。此外，我们引入了连续上采样的隐式神经表示和适应各种分辨率的尺度感知归一化层。值得注意的是，低分辨率和高分辨率过程都在最紧凑的空间中进行，共享大部分参数，仅对高分辨率输出增加不到3％的额外参数，大大增强了训练和推理效率。我们的模型通过减少数据要求实现快速训练，生成逼真的高分辨率图像，并在广泛的实验中展示了最先进的性能。

UltraPixel试图解决的问题是如何在单个模型中生成高质量的多分辨率图像，同时保持计算效率。

UltraPixel使用级联扩散模型来生成高分辨率图像，同时利用低分辨率图像的语义丰富表示来指导高分辨率图像的生成，从而显著降低了复杂性。

UltraPixel采用隐式神经表示进行连续上采样和适应各种分辨率的规范化层，实现低分辨率和高分辨率处理在最紧凑的空间中进行，只需不到3％的额外参数即可生成高分辨率输出，从而大大提高了训练和推理效率。论文在实验中表现出色，产生了逼真的高分辨率图像，并展示了最先进的性能。

最近的相关研究包括《Progressive Growing of GANs for Improved Quality, Stability, and Variation》和《High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs》等。