OmniX: From Unified Panoramic Generation and Perception to Graphics-Ready 3D Scenes

目前构建3D场景主要有两种流行方法：程序化生成和基于2D的提升（2D lifting）。其中，基于全景图的2D提升技术近年来展现出巨大潜力，它利用强大的2D生成先验知识，能够生成沉浸感强、逼真且多样化的3D环境。在本研究中，我们进一步推进了这一技术，旨在生成适用于基于物理的渲染（PBR）、重光照和仿真的、可直接用于图形处理的3D场景。我们的核心思路是将现有的2D生成模型重新用于全景图中几何结构、纹理以及PBR材质的感知任务。与现有2D提升方法主要关注外观生成而忽略对内在属性感知不同，我们提出了OmniX——一个通用且统一的框架。该框架基于轻量高效且跨模态的适配器结构，复用2D生成先验知识，以支持广泛的全景视觉任务，包括全景感知、生成与补全。此外，我们构建了一个大规模的合成全景数据集，其中包含来自多样化室内外场景的高质量多模态全景图像。大量实验表明，我们的模型在全景视觉感知和可图形化3D场景生成方面均表现出色，为创建沉浸式且符合物理规律的虚拟世界开辟了新的可能。

论文旨在解决现有2D提升方法在生成3D场景时侧重外观而忽略几何、纹理和基于物理渲染（PBR）材质等内在属性感知的问题，目标是生成可用于物理渲染、重光照和仿真的图形就绪3D场景。这是一个重要且尚未充分探索的问题，尤其在将2D生成先验有效迁移至全景感知与真实感3D内容创建方面。

提出OmniX框架，通过轻量级跨模态适配器结构，复用强大的2D生成模型先验，实现从单张全景图中联合恢复几何、纹理和PBR材质，首次将2D生成模型用于全景视角下的多模态感知与3D场景重建，统一支持感知、生成与补全任务。相比以往仅关注视觉外观的方法，该思路强调对物理可渲染材质的显式建模，具有显著新颖性。

构建了一个大规模合成的多模态全景数据集，包含高质量室内外场景的全景几何、纹理与PBR材质标注；实验验证了OmniX在全景感知与3D重建方面的优越性能；框架设计轻量高效，支持多种下游任务；代码与数据集已开源，推动后续研究；未来可进一步探索动态场景建模与真实数据迁移。

1. Panorama-Based 3D Reconstruction with Neural Radiance Fields 2. Lifting 2D StyleGAN to 3D for Generative 3D Face Modeling 3. Instant NGP: Instant Neural Graphics Primitives 4. Gaussian Splatting for Real-Time Radiance Field Rendering 5. PanoFormer: Panoramic Scene Understanding with Transformers