来自今天的爱可可AI前沿推介
[CV] InfiniCity: Infinite-Scale City Synthesis
C H Lin, H Lee, W Menapace, M Chai, A Siarohin, M Yang, S Tulyakov
[UC Merced & Snap Inc]
InfiniCity: 无限规模城市合成
要点:
-
提出 InfiniCity 框架，一种用于生成无限规模 3D 城市场景的新型管道； -
将看似不可能的任务分解为三个子模块，利用 2D 和 3D 数据的优势； -
管道包括一个交互式采样GUI，以实现快速和灵活的用户互动。
一句话总结:
本文提出 InfiniCity，一种无限规模 3D 城市场景生成框架，适用 2D 和 3D 数据，将任务分解为三个子模块，带有交互式采样GUI，可实现快速灵活的用户交互，产生可信、可遍历和易于编辑的结构的高质量和高多样性的结果。
摘要：
为了实现无限规模的 3D 城市合成，本文提出一种新框架 InfiniCity，从随机噪声中构建并渲染一个无约束的大型 3D 基础环境。InfiniCity 利用 2D 和 3D 数据的优势，将这个看似不切实际的任务分解成三个可行的模块：一个无限像素的图像合成模块，从鸟瞰图中生成任意尺度的 2D 地图。一个基于八度空间的体素完成模块，将生成的 2D 地图提升到 3D 八度。一个基于体素的神经渲染模块，对体素进行纹理处理并渲染 2D 图像。InfiniCity可以合成任意规模和可穿越的 3D 城市环境，并允许用户进行灵活和交互式的编辑。本文从数量和质量上证明了所提出的框架的有效性。
Toward infinite-scale 3D city synthesis, we propose a novel framework, InfiniCity, which constructs and renders an unconstrainedly large and 3D-grounded environment from random noises. InfiniCity decomposes the seemingly impractical task into three feasible modules, taking advantage of both 2D and 3D data. First, an infinite-pixel image synthesis module generates arbitrary-scale 2D maps from the bird's-eye view. Next, an octree-based voxel completion module lifts the generated 2D map to 3D octrees. Finally, a voxel-based neural rendering module texturizes the voxels and renders 2D images. InfiniCity can thus synthesize arbitrary-scale and traversable 3D city environments, and allow flexible and interactive editing from users. We quantitatively and qualitatively demonstrate the efficacy of the proposed framework.
评论
沙发等你来抢