Score Distillation via Reparametrized DDIM

2D扩散模型生成真实、高精度的图像，但基于这些2D扩散模型的Score Distillation Sampling (SDS)等3D形状生成方法会产生卡通般的过度平滑形状。为了帮助解释这种差异，我们展示了Score Distillation中使用的图像引导可以被理解为2D去噪生成过程的速度场，除了噪声项的选择外。特别地，在变量的改变下，SDS类似于高方差版本的Denoising Diffusion Implicit Models(DDIM)，只是噪声项不同：SDS在每个步骤中随机地引入独立同分布的噪声，而DDIM则从先前的噪声预测中推断噪声。这种过度方差可能导致过度平滑和不真实的输出。我们展示了通过在每个SDS更新步骤中反演DDIM可以恢复更好的噪声近似。这种修改使得SDS在2D图像的生成过程中几乎与DDIM相同。在3D中，它消除了过度平滑，保留了更高频的细节，并将生成质量更接近于2D采样器。在实验中，我们的方法实现了与其他最先进的Score Distillation方法相比更好或类似的3D生成质量，而不需要训练额外的神经网络或多视角监督，并提供了有关扩散模型下2D和3D资产生成之间关系的有用见解。

本论文试图解决Score Distillation Sampling (SDS)在生成3D形状时出现的过度平滑和卡通化问题，提出了一种改进方案。

本论文发现，SDS中使用的图像引导可以被理解为2D去噪生成过程的速度场，通过改进噪声逼近方法，将SDS的生成过程与Denoising Diffusion Implicit Models (DDIM)相似，从而提高了3D形状的生成质量。

本论文的方法不需要训练额外的神经网络或多视角监督，实验结果表明，与其他最先进的Score Distillation方法相比，其在3D形状生成方面具有更好的性能。同时，本论文提供了关于2D和3D资产生成之间关系的有用见解。

相关研究包括基于Score Distillation的其他方法，如StyleGAN3和Gaussian Diffusion Processes，以及其他3D形状生成方法，如Generative Adversarial Networks (GANs)和Variational Autoencoders (VAEs)。