CubeDiff: Repurposing Diffusion-Based Image Models for Panorama Generation

我们提出了一种从文本提示或图像生成360度全景图的新方法。我们的方法利用了最近在三维生成方面的进展，通过使用多视图扩散模型来联合合成立方体贴图的六个面。与之前依赖于处理等矩形投影或自回归生成的方法不同，我们的方法将每个面视为标准透视图像，简化了生成过程，并能够使用现有的多视图扩散模型。我们证明这些模型可以在不需要对应关系感知注意力层的情况下生成高质量的立方体贴图。我们的模型允许精细的文本控制，生成高分辨率的全景图像，并且在训练集之外也表现良好，同时在定性和定量方面都达到了最先进的水平。项目页面：https://cubediff.github.io/

该论文试图解决从文本提示或图像生成360度全景图的问题。这是一个在虚拟现实和增强现实领域中非常重要的问题，因为高质量的全景图可以显著提升用户体验。虽然之前有一些方法尝试解决这个问题，但它们通常依赖于复杂的投影方式或自回归生成模型，这使得生成过程较为复杂。

论文的关键思路是利用多视角扩散模型（multi-view diffusion models）来联合合成立方体贴图的六个面。这种方法将每个面视为标准透视图像进行处理，从而简化了生成过程，并且无需使用专门的对应关系注意层（correspondence-aware attention layers）。相比现有方法，这种处理方式不仅简化了模型架构，还提高了生成图像的质量和分辨率。

论文的亮点包括：1) 实现了细粒度的文本控制，用户可以通过文本提示精确控制生成的全景图内容；2) 生成的全景图具有高分辨率，视觉效果出色；3) 模型泛化能力强，能够生成超出训练集范围的高质量图像；4) 论文展示了其方法在定性和定量评估中的优越性；5) 提供了一个项目页面（https://cubediff.github.io/），包含了更多细节和可能的开源代码，为后续研究提供了便利。

最近在这个领域内也有一些相关的研究，例如《ECCV 2022: Text2Mesh: Generating 3D Meshes from Text Descriptions》探讨了从文本生成3D网格的方法；《NeurIPS 2021: GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis》提出了生成辐射场以实现3D感知的图像合成；《CVPR 2022: DreamFusion: Text-to-3D Generation with Diffusion Models and Unpaired Images》则专注于通过扩散模型和未配对图像实现从文本到3D模型的生成。这些研究共同推动了3D内容生成技术的发展。