Dream-in-Style: Text-to-3D Generation using Stylized Score Distillation

我们提出了一种生成风格化3D物体的方法。我们的方法将文本提示和风格参考图像作为输入，并重建神经辐射场来合成一个3D模型，使得模型的内容与文本提示对齐，风格与参考图像一致。为了同时生成3D物体并进行风格转移，我们提出了一种风格化分数蒸馏损失，用于指导文本到3D的优化过程，以输出视觉上合理的几何形状和外观。我们的风格化分数蒸馏基于一个原始的预训练文本到图像模型及其修改后的同胞模型，通过操纵自注意力层的键和值特征来注入参考图像的风格。与最先进的方法的比较表明，我们的方法具有强大的视觉表现，这得到了我们用户研究的定量结果的进一步支持。

本论文旨在提出一种方法，通过输入文本提示和风格参考图像，生成符合文本提示内容并遵循参考图像风格的3D模型。

本论文提出了一种基于神经辐射场的方法，通过文本到3D的优化过程，在生成3D对象的同时进行风格转移，使用了一种新的stylized score distillation loss来指导优化过程，同时结合了文本到图像模型和自注意力层来注入风格。

本论文通过实验验证了提出方法的强大视觉性能，并通过用户研究得到了量化结果。论文还开源了代码，使用了ShapeNet和COIL-100数据集。

最近的相关研究包括：NeRF、DALL-E、CLIP等。