UDiFF: Generating Conditional Unsigned Distance Fields with Optimal Wavelet Diffusion

扩散模型在图像生成、编辑和修复方面表现出了显著的结果。最近的研究探索了使用神经隐式函数（即符号距离函数和占据函数）的扩散模型生成3D形状。然而，它们仅限于具有封闭表面的形状，这限制了它们生成包含开放表面的多样化3D真实世界内容的能力。在这项工作中，我们提出了UDiFF，一种用于无符号距离场（UDF）的3D扩散模型，可以通过文本条件或无条件生成具有开放表面的纹理3D形状。我们的关键思想是在空间频域中使用最佳小波变换生成UDF，从而产生UDF生成的紧凑表示空间。具体而言，我们提出了一种数据驱动方法，学习UDF的最佳小波变换，而不是选择需要昂贵的手动工作并仍然导致大量信息丢失的适当小波变换。我们通过数值和视觉比较与最新方法在广泛使用的基准测试上的优势来评估UDiFF。页面：https://weiqi-zhang.github.io/UDiFF。

本论文旨在通过提出UDiFF模型解决现有3D生成模型仅限于生成具有封闭表面的形状的问题，从而使得生成的3D模型更加多样化。

UDiFF模型通过在空间-频率域中使用最优小波变换生成UDF，从而实现生成具有开放表面的纹理3D模型。同时，该模型通过数据驱动的方法学习最优小波变换，避免了手动选择小波变换的代价和信息损失。

论文使用了多种数据集进行实验，并与最新的方法进行了数值和视觉比较。同时，作者还开源了UDiFF模型的代码。

在最近的相关研究中，还有一些使用小波变换的3D形状生成模型，比如WaveGrad和NeRF。