Stereo-LiDAR Depth Estimation with Deformable Propagation and Learned Disparity-Depth Conversion

准确而密集的立体相机和激光雷达深度估计是自动驾驶和机器人感知的重要任务。虽然来自激光雷达点的稀疏提示已经提高了立体匹配中的代价聚合，但它们的有效性受到密度低和非均匀分布的限制。为了解决这个问题，我们提出了一种新颖的带半密集提示引导的立体-LiDAR深度估计网络，称为SDG-Depth。我们的网络包括一个变形传播模块，用于通过使用学习的可变形窗口传播稀疏提示来生成半密集提示图和置信度图。然后，这些地图指导立体匹配中的代价聚合。为了减少从视差到深度恢复中的三角测量误差，特别是在远程区域，我们引入了一个视差-深度转换模块。我们的方法既准确又高效。基准测试的实验结果显示了其优越性能。我们的代码可在https://github.com/SJTU-ViSYS/SDG-Depth找到。

论文旨在解决自动驾驶和机器人感知中的精准和密集深度估计问题，尤其是解决LiDAR稀疏提示的局限性。

论文提出了一种名为SDG-Depth的新型深度估计网络，利用可变形传播模块生成半密集提示地图和置信度地图，以引导立体匹配中的代价聚合。同时还引入了视差-深度转换模块，以减少远距离区域的三角测量误差。

论文的实验结果表明其性能优越，代码已经开源。值得关注的是，SDG-Depth利用LiDAR稀疏提示生成半密集提示地图，这一方法相比于当前领域的研究更为高效。

在该领域的相关研究中，近期还有一些相关论文，如《3D深度感知：从单目图像到立体视觉和深度估计》、《使用深度学习进行立体视觉的最新进展》等。