StableNormal: Reducing Diffusion Variance for Stable and Sharp Normal

本文解决了从单目彩色输入（即图像和视频）中高质量表面法向量估计的挑战，这一领域最近通过重新利用扩散先验得到了革命性的进展。然而，以前的尝试仍然在随机推理方面遇到困难，这与Image2Normal任务的确定性质相冲突，并且昂贵的集成步骤会减慢估计过程。我们的方法StableNormal通过减少推理方差来缓解扩散过程的随机性，从而产生“稳定锐利”的法向量估计，而不需要任何额外的集成过程。StableNormal在挑战性的成像条件下（如极端光照、模糊和低质量）表现出鲁棒性。它也对透明和反射表面以及具有众多物体的杂乱场景具有鲁棒性。具体而言，StableNormal采用粗到精的策略，从一步法向量估计器(YOSO)开始，以推导出相对粗糙但可靠的初始法向量猜测，然后通过语义引导的细化过程(SG-DRN)来细化法向量以恢复几何细节。StableNormal的有效性通过在标准数据集（如DIODE-indoor、iBims、ScannetV2和NYUv2）以及各种下游任务（如表面重建和法向量增强）中展现了竞争性表现。这些结果表明，StableNormal保留了准确法向量估计的“稳定性”和“锐利性”。StableNormal代表了重新利用扩散先验进行确定性估计的初步尝试。为了使其民主化，代码和模型已经在hf.co/Stable-X上公开。

如何从单目彩色图像中高质量地估计表面法线是论文试图解决的问题。此前的尝试仍然存在随机推理的问题，并且需要昂贵的集成步骤，这会减慢估计过程。

StableNormal通过减少推理方差来缓解扩散过程的随机性，从而在不需要额外集成过程的情况下产生“稳定而锐利”的法线估计。它采用粗到细的策略，使用一个一步法线估计器（YOSO）来推导出一个相对粗糙但可靠的初始法线猜测，然后通过语义引导的细化过程（SG-DRN）来细化法线以恢复几何细节。

论文通过在DIODE-indoor、iBims、ScannetV2和NYUv2等标准数据集上展示了竞争性表现，以及在表面重建和法线增强等各种下游任务中的实用性，证明了StableNormal在各种挑战性成像条件下的鲁棒性，包括极端光照、模糊和低质量，透明和反射表面以及杂乱的场景。此外，StableNormal的代码和模型已经公开。

最近的相关研究包括使用深度学习进行法线估计的方法，例如DeepNormals和SurfaceNet，以及使用扩散先验进行法线估计的方法，例如DiffusionConvolutionalNeuralNetworks和DiffusionProbabilisticModels。