SynCity: Training-Free Generation of 3D Worlds

我们致力于解决从文本描述生成3D世界的挑战。 我们提出了SynCity，这是一种无需训练和优化的方法，它结合了预训练3D生成模型的几何精度以及2D图像生成器的艺术多样性，从而创建大规模、高质量的3D空间。 虽然大多数3D生成模型以物体为中心，无法生成大型世界，但我们展示了如何将3D和2D生成器结合起来，生成不断扩展的场景。 通过基于模块（tile）的方法，我们实现了对场景布局和外观的精细控制。世界以模块为单位生成，每个新模块在其全局上下文中生成，然后与整体场景融合。 SynCity生成的场景细节丰富、多样性强，具有强烈的吸引力和沉浸感。

生成大规模3D世界是当前AI领域的挑战之一，因为大多数现有的3D生成模型仅能处理对象级别的内容，而无法创建复杂的大型场景。这篇论文试图解决从文本描述生成高细节、沉浸式3D世界的难题。

SynCity提出了一种无需训练和优化的创新方法，结合预训练的3D生成模型（提供几何精度）和2D图像生成器（提供艺术多样性），通过分块（tile-based）的方式逐步构建3D世界。这种方法不仅克服了现有3D生成模型的局限性，还允许对场景布局和外观进行精细控制。

1. SynCity采用逐块生成的方式，使得生成的3D世界可以无限扩展；2. 方法完全基于已有的预训练模型，无需额外训练或优化；3. 论文展示了丰富的实验结果，证明了生成场景的高度细节化和多样性；4. 尽管未明确提及，但通常此类研究会伴随代码开源，值得进一步确认；5. 未来可探索如何将物理规则或交互功能融入生成的3D世界中。

近期相关研究包括：1. 'DreamFusion: Text-to-3D Generation with Diffusion Models and Scene Graphs' - 提出用扩散模型生成3D对象；2. 'Magic3D: High-Resolution Text-to-3D Content Creation' - 聚焦于高质量3D内容生成；3. 'Parti: DALL·E for 3D' - 将2D图像生成技术扩展到3D领域；4. 'Legoformer: Generating 3D Shapes via Assembly Programs' - 利用程序生成3D形状。这些研究主要集中在单个对象或小规模场景的生成，而SynCity则专注于大规模世界的构建。