An Object is Worth 64x64 Pixels: Generating 3D Object via Image Diffusion

我们介绍了一种新的方法来生成带有UV映射的逼真3D模型，这种方法称为“物体图像”。该方法将表面几何、外观和补丁结构封装在一个64x64像素的图像中，有效地将复杂的3D形状转换为更易处理的2D格式。通过这样做，我们解决了多边形网格固有的几何和语义不规则性的挑战。这种方法允许我们直接使用图像生成模型，如扩散变压器，进行3D形状生成。在ABO数据集上评估，我们生成的带有补丁结构的形状达到了与最近的3D生成模型相当的点云FID，同时自然地支持PBR材质生成。

本论文旨在解决3D模型生成中的几何和语义不规则性问题，提出了一种称为“Object Images”的表示方法，将3D形状转换为64x64像素图像，从而更轻松地进行2D处理。

通过将3D形状转换为2D图像，利用图像生成模型进行3D形状生成，同时支持PBR材质生成。

论文通过实验验证了该方法的有效性，使用ABO数据集进行评估，生成的形状具有与最新3D生成模型相当的点云FID，并自然支持PBR材质生成。

最近的相关研究包括：《Learning to Generate 3D Meshes with Generative Adversarial Networks》、《Pixel2Mesh++: Multi-View 3D Mesh Generation via Deformation》等。