MicroDreamer: Zero-shot 3D Generation in $\sim$20 Seconds by Score-based Iterative Reconstruction

本文介绍了一种高效且通用的三维生成算法——基于分数的迭代重建（SIR），该算法采用多视角分数扩散模型。SIR通过重复优化三维参数来减少函数评估次数，从而提高了效率。与SDS中的单次优化不同，SIR模拟了三维重建过程。此外，通过在像素空间中进行优化等其他改进，作者提出了一种称为MicroDreamer的高效方法，适用于各种三维表示和三维生成任务。特别地，在保持可比性的情况下，MicroDreamer在生成神经辐射场方面比SDS快5-20倍，并且在单个A100 GPU上从3D高斯分裂生成网格大约需要20秒，将最快的零样本基线DreamGaussian的时间减半。我们的代码可在https://github.com/ML-GSAI/MicroDreamer上获得。

本文旨在提高零样本三维生成的效率，通过引入基于分数的迭代重建算法（SIR）解决SDS算法效率低下的问题。

SIR算法通过多视角基于分数的扩散模型生成的图像，反复优化三维参数，从而提高了效率。同时，该算法在像素空间内进行优化，适用于各种三维表示和三维生成任务。

本文提出的MicroDreamer算法在生成神经辐射场时比SDS算法快5-20倍，且从3D高斯分裂生成网格的时间缩短了一半。该算法的代码已经开源。

在零样本三维生成领域，还有一些相关的研究，如DreamGaussian等。