MatFusion: A Generative Diffusion Model for SVBRDF Capture

我们将从照片中估计SVBRDF视为扩散任务。为了模拟空间变化材料的分布，我们首先在312,165个合成的空间变化材料实例集上训练了一个新颖的无条件SVBRDF扩散骨干模型。这个名为MatFusion的SVBRDF扩散骨干模型可以作为精细化条件扩散模型的基础，以在受控或不受控的照明下估计照片的材料属性。我们的骨干MatFusion模型仅使用反射属性的损失进行训练，因此可以将精细化与更昂贵的渲染方法配对，无需在训练过程中进行反向传播。由于条件的SVBRDF扩散模型是生成的，因此我们可以从同一输入照片合成多个SVBRDF估计，用户可以选择最符合其期望的估计。我们通过在不同类型的入射照明条件下精细化不同的SVBRDF扩散模型来展示我们方法的灵活性，并展示了在共位闪光灯照明下，我们的方法达到了与现有SVBRDF估计方法相同或更好的精度。

本论文旨在通过一种基于扩散的方法来估计照片中的空间变化材料的表面反射率分布（SVBRDF），并且通过生成式模型来提供多个估计结果供用户选择。

该论文提出了一种名为MatFusion的无条件SVBRDF扩散骨干模型，该模型基于312,165个合成材料实例进行训练。然后，可以使用该模型作为条件扩散模型的基础，从而在受控或不受控的照明条件下从照片中估计材料属性。

该论文的亮点包括：使用大量的合成数据进行训练，可以与更昂贵的渲染方法配对使用，生成多个SVBRDF估计结果供用户选择，可以在不同的照明条件下进行精细调整。实验结果表明，该方法能够在单张照片下达到与现有方法相同或更好的准确性。

在这个领域中，最近的相关研究包括：《Deep Scattering: Rendering Atmospheric Clouds with Radiance-Predicting Neural Networks》、《Neural Radiance Fields for Unconstrained Photo Collections》等。