同济大学机器人与人工智能实验室（RAIL）近期发表的 3DV 2022 Oral 论文 《SDA-SNE: Spatial Discontinuity-Aware Surface Normal Estimation via Multi-Directional Dynamic Programming》提出一个基于多向动态规划和迭代 多项式插值的端到端法向量估计方法，性能远超现有 SoTA 算法！代码已开源！

详细信息如下：

1. 引言

目前最先进的表面法向量估计方法(SNEs)通常以端到端的方式将深度图像映射为表面3D法向量场。虽然这些法向量估计方法极大地平衡了效率和精度，但它们在空间不连续处（如物体边缘、脊）的性能仍然不能令人满意。为了解决这一问题，本文首先引入了一种全新的多向动态规划策略，通过最小化（路径）平滑度能量来自适应地确定内点（与被估点共面的三维邻域点）；然后，设计了迭代多项式插值算法，精细化迭代求解深度梯度，以助于产生精度更高的表面3D法向量。本文引入的空间不连续区域自感知(SDA)深度梯度优化策略可以与任何现有的深度估法向量的SNE兼容。本文提出的SDA-SNE比其他所有SoTA的方法取得了更好的性能，尤其是在空间不连续处区域上。

本文进一步评估了SDA-SNE在不同迭代次数下的性能，结果表明它只经过少数几次迭代就能迅速收敛。这确保了它在几乎不损失精度的前提下具有较好的实时性。此外，本文对数据集加入不同程度的噪声，来验证SDA-SNE具有良好的鲁棒性和环境适应性。本文的代码、演示视频和补充材料均可以在https://mias.group/SDA-SNE/上公开获得。

表面法向量是一种信息丰富的三维视觉特征，被广泛地用于如位姿估计、目标定位、场景理解等各种计算机视觉和机器人技术应用。作为其他计算机视觉任务和机器人技术应用的一种辅助估计手段，迄今为止，表面法向量估计任务还没有被广泛、深入的研究。由于这种应用场景通常需要良好的鲁棒性和较高的实时性，表面法向量估计方法必须拥有足够的精度和计算效率。

目前，最先进的表面法向量估计方法通常选择一组三维点，并通过平面拟合、几何变换或统计分析来计算表面法线。然而，这种方法无法估计空间不连续处（如边缘和脊）的表面法向量（如图1所示），因为它们通常会在不同的空间曲面上引入相邻的三维点。Bormann等人提出了第一个边缘感知SNE，能够自适应地选择同一表面上合理的相邻三维点，因此其在边缘处的表现明显优于其他现有法向量估计算法。尽管如此，他们的方法只关注边缘处法向量估计，并且需要手动设置一个边缘感知阈值。这导致了其对不同场景和数据集的适应性较低。因此，开发一种能够处理所有类型的空间不连续性的表面法向量估计方法，以实现高鲁棒性和环境适应性，具有重要的现实意义和应用价值。

2.算法详解

上图展示了本文提出的SDA-SNE的算法原理和流程，其通过对目标点的多个方向（水平、垂直、倾斜）上的邻域点进行动态规划，筛选出最优内点集合，然后利用迭代多项式插值算法，优化表面3D法向量估计，进而达到超高精度的法向量估计值。在本节中，主要介绍多向动态规划算法、路径平滑范数、迭代多项式插值算法，三者共同完成深度梯度估计过程。

内容中包含的图片若涉及版权问题，请及时与我们联系删除