IM-3D: Iterative Multiview Diffusion and Reconstruction for High-Quality 3D Generation

大多数文本到3D生成器都建立在已经训练过数十亿张图片的现成文本到图像模型基础上。它们使用Score Distillation Sampling（SDS）的变体，这种方法速度较慢、不太稳定且容易产生伪影。一种缓解方法是将2D生成器微调为多视角感知，这可以帮助蒸馏，也可以与重建网络结合，直接输出3D对象。在本文中，我们进一步探索文本到3D模型的设计空间。我们通过考虑视频而不是图像生成器，显著改善了多视角生成。结合一种3D重建算法，该算法使用高斯喷洒，可以优化鲁棒的基于图像的损失，我们可以直接从生成的视图中产生高质量的3D输出。我们的新方法IM-3D将2D生成器网络的评估次数减少了10-100倍，从而实现了更高效的流程、更好的质量、更少的几何不一致性和更高的可用3D资产产出。

本论文旨在探索文本生成3D模型的设计空间，通过使用视频生成器和3D重建算法，提高多视角生成的质量和效率。

使用视频生成器和3D重建算法，直接从生成的视图中输出高质量的3D模型，减少2D生成器网络的评估次数，提高效率和质量。

论文使用IM-3D方法，通过视频生成器和3D重建算法生成高质量的3D模型，减少了2D生成器网络的评估次数，提高了效率和质量。实验结果表明，IM-3D方法相比于传统方法，具有更少的几何不一致性和更高的可用3D资产产量。

最近的相关研究包括使用GAN生成3D模型的方法，以及使用多视角图像进行3D重建的方法。