SDL-MVS: View Space and Depth Deformable Learning Paradigm for Multi-View Stereo Reconstruction in Remote Sensing

基于遥感图像的多视角立体视觉研究推动了大规模城市三维重建的发展。然而，遥感多视角图像数据在获取过程中存在遮挡和视角之间亮度不均的问题，导致深度估计中细节模糊的问题。为了解决上述问题，我们重新审视了多视角立体视觉任务中的可变形学习方法，并提出了一种基于视角空间和深度可变形学习（SDL-MVS）的新范式，旨在学习不同视角空间特征的可变形交互，并可变形地建模深度范围和间隔，以实现高精度深度估计。具体而言，为了解决遮挡和亮度不均引起的视角噪声问题，我们提出了一种渐进空间可变形采样（PSS）机制，该机制以渐进方式在3D视锥空间和2D图像空间中进行采样点的可变形学习，以自适应地嵌入源特征到参考特征中。为了进一步优化深度，我们引入了深度假设可变形离散化（DHD），通过自适应调整深度范围假设和进行深度区间假设的可变形离散化，实现深度先验的精确定位。最终，我们的SDL-MVS通过视角空间和深度的可变形学习范式，实现了对多视角立体视觉中遮挡和亮度不均的显式建模，实现了准确的多视角深度估计。在罗家MVS和武汉大学数据集上的大量实验表明，我们的SDL-MVS达到了最先进的性能。值得注意的是，在输入三个视角的前提下，我们的SDL-MVS在罗家MVS数据集上实现了0.086的MAE误差，<0.6m的准确率为98.9％，<3间隔的准确率为98.9％。

解决问题：该论文旨在解决遥感多视图图像数据在深度估计中存在的遮挡和亮度不均匀问题，以实现高精度的多视图深度估计。

关键思路：论文提出了基于视图空间和深度可变形学习（SDL-MVS）的新范例，旨在学习不同视图空间中的特征的可变形交互，并可变形地模拟深度范围和间隔，以实现高精度深度估计。具体而言，论文提出了渐进空间可变形采样（PSS）机制和深度假设可变形离散化（DHD）机制，以进一步优化深度。

其他亮点：论文在LuoJia-MVS和WHU数据集上进行了广泛的实验，并展示了SDL-MVS的卓越性能。值得注意的是，在三个视图作为输入的前提下，SDL-MVS在LuoJia-MVS数据集上实现了0.086的MAE误差、<0.6m的98.9%的准确率和<3间隔的98.9%的准确率。

相关研究：最近在这个领域中，还有一些相关研究，例如“Deep Multi-View Stereo with Independent Pose Regression Error”和“Multi-View Stereo by Learning the Scene Structure and Priors with Convolutional Neural Networks”。