TwinDiffusion: Enhancing Coherence and Efficiency in Panoramic Image Generation with Diffusion Models

扩散模型已成为生成多样化和高质量内容的有效工具。然而，它们在高分辨率图像生成方面，特别是全景图像生成方面，仍然面临着可见的接缝和不连贯的过渡等挑战。本文提出了TwinDiffusion，这是一个经过优化的框架，旨在通过两个关键创新来解决这些挑战：Crop Fusion用于质量增强，Cross Sampling用于效率优化。我们引入了一个无需训练的优化阶段，以改善相邻图像区域的相似性，以及一种交错采样策略，在裁剪过程中产生动态补丁。我们进行了全面评估，比较了TwinDiffusion与现有方法，考虑了连贯性、保真度、兼容性和效率等因素。结果表明，我们的方法在生成无缝和连贯的全景图像方面表现出卓越的性能，为全景图像生成的质量和效率设定了新的标准。

本论文旨在解决高分辨率全景图像生成中存在的可见接缝和不连贯转换等挑战。

TwinDiffusion是一个优化框架，通过Crop Fusion和Cross Sampling两个关键创新来解决这些挑战。

论文介绍了一个无需训练的优化阶段，用于提高相邻图像区域的相似度，并介绍了一种交错采样策略，用于在裁剪过程中产生动态补丁。论文通过综合评估比较了TwinDiffusion与现有方法的性能，考虑了连贯性、保真度、兼容性和效率等因素。结果表明，TwinDiffusion在生成无缝和连贯全景图像方面具有优越性能，为全景图像生成的质量和效率设定了新的标准。

相关研究包括：1. SphericalGAN:生成全景图像的球形生成对抗网络；2. PanoGAN: 通过卷积神经网络生成全景图像；3. DeepPano: 通过深度学习生成高质量的全景图像。