HybridDepth: Robust Depth Fusion for Mobile AR by Leveraging Depth from Focus and Single-Image Priors

我们提出了HYBRIDDEPTH，这是一个强大的深度估计流程，解决了移动AR深度估计中的独特挑战，例如尺度模糊、硬件异构和泛化能力。HYBRIDDEPTH利用移动设备上可用的相机功能，有效地结合了深度从焦点(DFF)方法中固有的尺度精度和强单张图像深度先验所启用的泛化能力。通过利用移动相机的焦平面，我们的方法准确地捕捉来自聚焦像素的深度值，并将这些值应用于计算变换相对深度到度量深度的尺度和位移参数。我们将我们的管道作为一个端到端系统进行测试，使用一个新开发的移动客户端来捕捉焦点堆栈，然后将其发送到GPU驱动的服务器进行深度估计。 通过全面的定量和定性分析，我们证明HYBRIDDEPTH不仅在常见数据集(DDFF12、NYU Depth v2)和真实世界的AR数据集ARKitScenes中优于最先进的模型(SOTA)，而且表现出强大的零-shot泛化能力。例如，HYBRIDDEPTH在NYU Depth v2上训练，在DDFF12上的表现与现有的DDFF12训练模型相当。它还在ARKitScenes数据集上的零-shot性能方面优于所有SOTA模型。此外，我们对比了我们的模型和ARCore框架，证明我们的模型输出的深度图在结构细节和度量精度方面显著更准确。该项目的源代码可在github上获得。

论文旨在解决移动AR深度估计中的尺度歧义、硬件异构性和泛化性等问题，提出了一种名为HYBRIDDEPTH的深度估计管道。

HYBRIDDEPTH将移动设备上可用的相机特征与深度先验相结合，有效地结合了深度焦点（DFF）方法固有的尺度准确性和强单图像深度先验所启用的泛化能力。它利用移动相机的焦平面，准确捕获来自聚焦像素的深度值，并将这些值应用于计算比例和移位参数，以将相对深度转换为度量深度。通过全面的定量和定性分析，证明了HYBRIDDEPTH不仅在常见数据集（DDFF12、NYU Depth v2）和真实世界的AR数据集ARKitScenes中优于现有的SOTA模型，而且表现出强大的零样本泛化性。

该论文的亮点包括：使用移动客户端捕获焦点堆栈，并将其发送到GPU服务器进行深度估计；在常见数据集和真实世界的AR数据集ARKitScenes中进行了全面的定量和定性分析；证明了HYBRIDDEPTH具有强大的零样本泛化性；与ARCore框架进行了定性比较，证明了HYBRIDDEPTH模型的输出深度图在结构细节和度量精度方面显着更准确。

最近在这个领域中，还有一些相关的研究，如：《Depth Estimation for Mobile AR Using a Lightweight CNN》、《Depth Estimation for Mobile AR with Deep Learning-Based Refinement》等。