Dreamer XL: Towards High-Resolution Text-to-3D Generation via Trajectory Score Matching

本文提出了一种新的轨迹得分匹配（Trajectory Score Matching，TSM）方法，旨在解决使用去噪扩散隐式模型（Denoising Diffusion Implicit Models，DDIM）反演过程时，区间得分匹配（Interval Score Matching，ISM）由于累积误差而导致的伪地面真实性不一致问题。与ISM采用DDIM的反演过程在单个路径上进行计算不同，我们的TSM方法利用DDIM的反演过程从同一起点生成两条路径进行计算。由于两条路径都从同一起点开始，TSM相比ISM可以减少累积误差，从而缓解伪地面真实性不一致的问题。TSM提高了模型在蒸馏过程中生成路径的稳定性和一致性。我们通过实验证明了这一点，并进一步表明ISM是TSM的一种特殊情况。此外，为了优化从高分辨率文本到3D生成的当前多阶段优化过程，我们采用了稳定扩散XL进行指导。针对在使用稳定扩散XL时，在3D高斯喷洒过程中由于不稳定梯度而引起的异常复制和分裂问题，我们提出了一种逐像素梯度剪切方法。广泛的实验表明，我们的模型在视觉质量和性能方面显著超越了最先进的模型。代码：\url{https://github.com/xingy038/Dreamer-XL}。

本论文旨在解决使用Denoising Diffusion Implicit Models (DDIM)反演过程时，Interval Score Matching (ISM)中的累积误差导致的伪地面真实性不一致问题，提出了一种新的Trajectory Score Matching (TSM)方法。

TSM方法通过利用DDIM的反演过程从同一起点生成两条路径进行计算，从而减少了累积误差，提高了模型生成路径的稳定性和一致性。

论文还提出了使用Stable Diffusion XL进行指导优化当前从高分辨率文本到3D生成的多阶段优化过程的方法，并通过像素级梯度剪切方法解决了3D高斯喷洒过程中不稳定梯度导致的异常复制和分裂问题。实验表明，该模型在视觉质量和性能方面显著优于现有的模型，并提供了开源代码。

在这个领域中，最近的相关研究包括：Denoising Diffusion Probabilistic Models (DDPM)、Generative Adversarial Networks (GANs)、Variational Autoencoder (VAE)等。