论文标题：Real-time Monocular Depth Estimation with Sparse Supervision on Mobile

论文链接：https://arxiv.org/abs/2105.12053

作者单位：三星研究院（英国）

本文对单目深度估计网络的主干模型选择，知识蒸馏，中间预测，模型剪枝和损失重新平衡等进行深入分析，进而设计了一种在移动设备上实时运行的单目深度估计网络，在移动GPU上速度高达44 FPS！

对于诸如自动驾驶，增强现实和图像编辑等各种应用，单目（相对或度量）深度估计是一项关键任务。近年来，随着移动设备的可用性不断提高，准确且对移动设备友好的深度模型变得越来越重要。越来越精确的模型通常需要更多的计算资源，这阻碍了此类模型在移动设备上的使用。移动用例可以说是最不受限制的用例，它需要高度准确但对移动友好的体系结构。因此，我们尝试回答以下问题：如何在不增加进一步复杂性（即参数）的情况下改进模型？为此，我们从各个维度系统地探索了相对深度估算模型的设计空间，并且我们展示了通过关键的设计选择和消融研究，即使是现有的体系结构也可以达到与现有技术相比极高的竞争性能。我们的研究涵盖了深入的主干模型选择过程，知识蒸馏，中间预测，模型剪枝和损失重新平衡。我们展示了仅使用DIW作为监控数据集的模型，该模型在具有2.6M参数的DIW上实现了0.1156 WHDR，在移动GPU上达到了37 FPS，而没有进行剪枝或特定于硬件的优化。我们模型的修剪版本在具有1M参数的DIW上达到0.1208 WHDR，在移动GPU上达到44 FPS。

内容中包含的图片若涉及版权问题，请及时与我们联系删除