RGB Guided ToF Imaging System: A Survey of Deep Learning-based Methods

将RGB相机集成到ToF成像系统中已经成为感知真实世界的重要技术。RGB引导的ToF成像系统对于多个应用至关重要，包括人脸反欺诈、显著性检测和轨迹预测。根据工作范围的距离，RGB引导的ToF成像系统的实现方案是不同的。具体来说，具有均匀照明场的ToF传感器通常用于近距离测量，可以输出密集的深度但分辨率较低。相反，LiDAR通常用于长距离检测，发射激光脉冲，只能捕获稀疏的深度。在这两种情况下，RGB引导的ToF成像的深度质量改进对应着两个子任务：引导深度超分辨率和引导深度完成。鉴于深度学习为该领域提供的最新重大推动，本文全面回顾了与RGB引导的ToF成像相关的工作，包括网络结构、学习策略、评估指标、基准数据集和目标函数。此外，我们还在广泛使用的基准数据集上对最先进方法进行了定量比较。最后，我们讨论了未来的趋势和进一步研究中的实际应用中的挑战。

RGB guided ToF imaging系统在不同工作距离下的实现方案存在差异，需要解决RGB引导下的深度超分辨率和深度完成问题，本文旨在综述该领域的相关工作并探讨未来研究趋势和挑战。

本文综述了RGB guided ToF imaging系统的网络结构、学习策略、评价指标、基准数据集和目标函数，并介绍了基于深度学习的解决方案。相比当前领域的研究，本文提出了一些新的思路和方法。

本文使用了广泛使用的基准数据集进行了定量比较，并讨论了未来的研究趋势和挑战。值得关注的是，本文提出的方法在人脸反欺诈、显著性检测和轨迹预测等应用中具有重要意义。

最近的相关研究包括《Deep Learning for Depth Map Completion: A Survey》、《Real-time RGB-D Mapping with Depth Camera Fusion》等。