ImageDream: Image-Prompt Multi-view Diffusion for 3D Generation

我们介绍了“ImageDream”，一种创新的图像提示、多视角扩散模型，用于生成3D物体。与现有的最先进的图像条件方法相比，ImageDream的优点在于能够产生更高质量的3D模型。我们的方法利用了图像中物体的规范化相机坐标，提高了视觉几何精度。该模型根据输入图像在扩散模型的每个块内设计了各种级别的控制，其中全局控制塑造了整体物体布局，局部控制微调了图像细节。通过使用标准提示列表进行广泛评估，展示了ImageDream的有效性。有关更多信息，请访问我们的项目页面https://Image-Dream.github.io。

ImageDream试图解决的问题是如何利用图像生成高质量的3D物体模型，同时提高视觉几何精度。

ImageDream的关键思路是使用标准的相机坐标系来提高图像中物体的几何精度，并在扩散模型内的每个块中设计不同级别的控制，以精细调整图像细节。

ImageDream的实验结果表明，它比现有的基于图像的方法生成的3D模型具有更高的质量。论文还提供了项目页面和开源代码，以供进一步研究使用。

与此相关的研究包括：《Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images》、《Occupancy Networks: Learning 3D Reconstruction in Function Space》等。