Depth Anywhere: Enhancing 360 Monocular Depth Estimation via Perspective Distillation and Unlabeled Data Augmentation

在虚拟现实、自主导航和沉浸式媒体应用中，准确地估计360度图像中的深度至关重要。现有的针对透视图像设计的深度估计方法在应用于360度图像时会失败，因为存在不同的摄像机投影和畸变，而360度方法由于缺乏标记数据对则表现较差。我们提出了一种新的深度估计框架，可以有效地利用未标记的360度数据。我们的方法使用最先进的透视深度估计模型作为教师模型，通过六面立方体投影技术生成伪标签，从而实现对360度图像深度的高效标记。这种方法利用了大型数据集的不断增加。我们的方法包括两个主要阶段：无效区域的离线掩码生成和在线半监督联合训练。我们在Matterport3D和Stanford2D3D等基准数据集上测试了我们的方法，显示出深度估计精度的显着提高，特别是在零样本场景中。我们提出的训练流程可以增强任何360单眼深度估计器，并展示了在不同摄像机投影和数据类型之间有效的知识转移。请参见我们的项目页面以获取结果：https://albert100121.github.io/Depth-Anywhere/

360度图像中深度估计的问题。由于不同的相机投影和畸变，现有的透视深度估计方法在应用于360度图像时会失败，而360度方法由于缺乏标记数据对表现不佳。

使用未标记的360度数据有效地估计深度。该方法使用先进的透视深度估计模型作为教师模型，通过六面立方体投影技术生成伪标签，从而实现对360度图像中深度的高效标记。

论文提出了一个新的深度估计框架，可以有效地利用未标记的360度数据。该方法包括离线无效区域掩码生成和在线半监督联合训练两个主要阶段。作者在Matterport3D和Stanford2D3D等基准数据集上进行了测试，表明在深度估计准确性方面取得了显著的改进，特别是在零样本情况下。该论文的训练流程可以增强任何360度单目深度估计器，并展示了跨不同相机投影和数据类型的有效知识转移。

最近的相关研究包括：1.《360-Degree Stereo and Depth Estimation via Surface Normal Guided View Synthesis》；2.《360-Degree Depth Estimation via Multi-Task Distance Normalization》；3.《OmniDepth: Dense Depth Estimation for Indoors Spherical Panoramas》。