Semantic-Guided Representation Enhancement for Self-supervised Monocular Trained Depth Estimation 论文链接：https://arxiv.org/abs/2012.08048 作者单位：西北工业大学 在KITTI上表现SOTA！性能优于PackNet-SfM等网络

仅在将图像序列作为输入的情况下，自监督深度估计已显示出在产生高质量深度图方面的巨大功效。然而，由于有限的深度表示能力，当估计边界区域或结构较薄的对象时，其性能通常会下降。在本文中，我们通过提出一种语义指导的深度表示增强方法来解决此问题，该方法通过利用丰富的上下文信息来促进局部和全局深度特征表示。代替传统范例中使用的单个深度网络，我们提出了一个额外的语义分割分支，以提供用于深度估计的额外上下文特征。在此框架的基础上，我们通过对位于语义边缘的基于点的特征进行采样并将其馈送到单个语义引导的边缘增强模块（SEEM），来增强局部特征表示，该模块专门用于促进对挑战性进行深度估计语义边界。然后，我们通过提出一种语义指导的多级注意力机制来改进全局特征表示，该机制通过探索多级深度解码方案中的像素相关性来增强语义和深度特征。广泛的实验证明了我们的方法在捕获具有挑战性的图像区域（如语义类别边界和薄物体）上的高精度深度方面的独特优势。在KITTI上进行的定量和定性实验均表明，我们的方法优于最新方法。

内容中包含的图片若涉及版权问题，请及时与我们联系删除