综述｜计算机视觉算法在路面坑洼检测中的应用(基于2D图像/3D LiDAR/深度学习)

摘要

计算机视觉算法在3D道路成像和路面坑洼检测中的应用已有二十多年的历史。尽管如此，目前还缺乏有关最先进(SoTA)的计算机视觉技术的系统调研文章，尤其是为解决这些问题而开发的深度学习模型。

本文首先介绍了用于2D和3D道路数据采集的传感系统，包括摄像机、激光扫描仪和微软Kinect。随后，对 SoTA 计算机视觉算法进行了全面深入的综述，包括: (1)经典的2D图像处理，(2)3D点云建模与分割，(3)机器/深度学习。

本文还讨论了基于计算机视觉的路面坑洼检测方法目前面临的挑战和未来的发展趋势: 经典的基于2D图像处理和基于3D点云建模和分割的方法已经成为历史; 卷积神经网络(CNN)已经展示了引人注目的路面坑洼检测结果，并有望在未来的进展中打破瓶颈的自/无监督学习多模态语义分割。作者相信本研究可为下一代道路状况评估系统的发展提供实用的指导。

介绍

坑洼是一种相当大的结构性道路损坏[1]。它是由水和路上的行驶的车辆综合作用形成的[2]。水渗透了地面，路面下的土壤被侵蚀，地面上的车辆经过后，破坏了路面，清除了部分路面。

道路坑洼不仅是一种不便，它们也是对车辆状况和交通安全的重大威胁[3]。例如，据芝加哥太阳报报告，司机在2018年头两个月就道路坑洼提出了11,706宗投诉[4]。根据坑洼事实报告，在美国33,000起交通事故中，大约三分之一的死亡事故与道路状况不佳有关。因此，经常检查道路和修复坑洼是必要和关键的[5]。

目前，人工目视检查仍然是道路坑洼检测的主要形式[6]。结构工程师和认证检查员定期检查路面坑洼并报告坑洼位置。这个过程是低效、昂贵和危险的。例如，新西兰的市议会在2017年花费数百万美元检测和修复路面坑洼(仅基督城就花费了52.5万美元)[7]。此外，据报道，在美国圣地亚哥，每年有超过30K 的路面坑洼被修复。建议圣地亚哥居民报告道路坑洼，以减轻当地道路维护部门的检测负担[8]。此外，检查员和工程师手工检测路面坑洼的结果总是主观的，因为决定完全取决于个人的经验和判断[9]。

出于这些原因，研究人员一直致力于开发能够有效、准确和客观地重建、识别和定位路面坑洼的自动化道路状况评估系统[10]。具体而言，近年来，路面坑洼检测已经不仅仅是一个基础设施维护问题，因为它也是许多汽车公司嵌入到 L3/L4自动驾驶汽车中的先进驾驶辅助系统(ADAS)的功能，并且新兴的自动驾驶系统对道路养护标准提出了更高的要求[11]。捷豹路虎使用数据驱动技术进行实验，通知驾驶员路面坑洼的位置，并发出警告来减慢汽车的速度[12] ，而 ClearMotion 建立了一个智能悬挂系统，使用硬件和软件的组合来预测，吸收和抵消由路面坑洼引起的冲击和振动[13]。

自世纪之交以来，计算机视觉技术已被广泛应用于获取3D道路数据和/或检测道路坑洼。然而，这一研究课题的最新研究成果很少涉及最前沿的计算机视觉技术，如3D点云建模与分割、机器/深度学习等。本文对目前最先进(SoTA)的道路成像系统和基于计算机视觉的路面坑洼检测算法进行了全面和深入的综述。现有系统和算法的概述如下图所示。

激光扫描仪、微软 Kinect 传感器和相机是道路数据采集中最常用的三种传感器。现有的路面坑洼检测方法分为四类:

1. 经典的基于2D图像处理的[14]
2. 基于3D点云建模和分割的[15]
3. 基于机器/深度学习的[16]
4. 混合[3]。

本文系统地回顾了现有的技术和公开数据集 ，并讨论了现有的挑战及其可能的解决方案。相信本文对下一代3D道路成像和路面坑洼检测算法的开发具有一定的指导意义。