JointDreamer: Ensuring Geometry Consistency and Text Congruence in Text-to-3D Generation via Joint Score Distillation

本文介绍了一种新的方法——联合分数蒸馏（JSD），用于保证文本到三维生成中的一致性。该方法通过建模联合图像分布，引入能量函数来捕捉扩散模型中去噪后图像之间的一致性。与SDS只考虑单个视角不同，JSD在多个渲染视角上进行联合分数蒸馏，从而确保了三维生成的一致性。此外，本文还提出了几种增强生成细节的策略，如几何淡出和无分类器引导切换。实验结果表明，JointDreamer在文本到三维生成方面取得了卓越的成果，具有88.5\%的CLIP R-Precision和27.7\%的CLIP得分，不仅文本一致性优秀，而且几何一致性和纹理保真度也非常出色。

解决问题：本论文旨在解决Score Distillation Sampling在生成3D模型时存在的视角不一致问题，提出了一种新的方法JSD来保证生成的3D模型具有一致性。

关键思路：本文提出的JSD方法通过建模联合图像分布，引入能量函数来捕捉扩散模型中去噪图像之间的一致性，然后在多个渲染视角上进行联合分数蒸馏，从而解决了Score Distillation Sampling存在的视角不一致问题。

其他亮点：本文提出的JointDreamer方法在文本到3D生成方面取得了优异的结果，在CLIP R-Precision和CLIP Score上分别达到了88.5%和27.7%。同时，本文还引入了几种增强细节的策略，如几何淡化和无分类器引导切换策略。实验使用了ShapeNetCore和PartNet数据集，并在GitHub上公开了代码。

相关研究：最近的相关研究包括NeRF、PIFu、Occupancy Networks等。