智能座舱关注车内感知,通过在车内安装摄像头感知驾驶员和乘客的行为以及车内状况。座舱行为识别任务旨在识别车辆座舱中驾驶员及乘客的行为,改善驾乘体验提供技术支持,以提供驾驶员和乘客更好的驾乘体验和更安全的行车保障。
座舱行为识别-数据标注方式
1
人脸标注
此类标注方式用于识别人脸相关的行为。
例如疲劳驾驶识别、视线偏移识别等,具体的标注形式是标注人脸关键点+行为的标签。
2
人体&物品标注
此类标注方式用于识别人体及物体相关的行为。
例如抽烟识别、开车喝水、开车打电话等,具体的标注形式是标注物品的检测框+人手部检测框+行为类别标签信息。
3
手势标注
此类标注方式用于识别手势动作。
例如手指不同指向,手掌动作,手指滑动等,具体标注行为为标注手势关键点+手势类别标签信息。
座舱行为识别-任务难点
1
行为复杂
座舱行为种类众多,并且部分行为存在一定程度的主观性(例如晕车、疲劳驾驶等行为),造成算法识别难度较大。
2
光照难点
汽车在行驶过程中会面临来自不同方向的强光干扰,造成人脸、人体、物体等目标会出现光照不均匀,此外在夜晚时间光照不足,在不开车内灯光的情况下,普通的彩色镜头无法捕捉足够识别的信息,需要红外镜头辅助。
3
性能难点
车载场景不同于实验室场景,设备的功耗和算力均需控制在一定程度内,而算法识别的准确率要求又很高,因此如何小型化模型并兼顾算法精度是一个重要研究方向。
一份来自数据堂的解决方案
1307人驾驶员行为采集数据
数据规模 |
1307人 |
人员分布 |
男性695名,女性612名 |
采集环境 |
车内摄像头 |
采集多样性 |
多人种、多年龄段、多时间段、多种行为(危险驾驶、疲劳驾驶、视线偏移) |
采集设备 |
可见光和红外双目摄像头 |
采集时间 |
白天、傍晚、夜晚 |
图像参数 |
.avi 分辨率640*480 |
准确率 |
精度>95% |
数据规模 |
103282张 |
人员分布 |
18-60岁黄种人,男女比例均衡 |
采集环境 |
车内摄像头 |
采集多样性 |
多年龄段、多时间段、多种行为(危险驾驶、疲劳驾驶、视线偏移) |
采集设备 |
可见光和红外双目摄像头 |
采集时间 |
白天、傍晚、夜晚 |
图像参数 |
图像格式为 .jpeg,标注文档格式为 .json |
标注说明 |
人脸72关键点(包括瞳孔)、人脸属性、手势检测框、安全带检测框、行为类别 |
准确率 |
准确率>95% |
122人乘客行为识别数据
数据规模 |
122人 |
人员分布 |
男性86人,女性36人;白、黑、棕三种肤色 |
采集环境 |
车内摄像头 |
采集多样性 |
多人种、多年龄段、多时间段、多种行为(正常行为、晕车行为、乘客困意行为、乘客遗落物品行为) |
采集设备 |
可见光和红外双目摄像头 |
摄像头位置 |
车内后视镜中央、车内右侧A柱上方、车内左侧B柱上方、车内右侧B柱上方 |
采集时间 | 白天、傍晚、夜晚 |
车型 | 小轿车、SUV |
数据格式 |
.avi |
准确率 |
准确率>95% |
数据规模 |
40人 |
人员分布 |
中国人,男、女性各20人 |
年龄分布 |
18-57岁每个年龄各一人 |
采集环境 |
室内、外场景各20人 |
采集多样性 |
多种动作、人脸多姿态、多种对抗样本、多种光照条件、多种场景 |
采集设备 |
多种带3D结构光模组的苹果手机(iphone X及以上记性) |
数据格式 | .jpg、.xml、.json |
车型 | 小轿车、SUV |
标注内容 |
标签标注人物ID、人种、性别、年龄、人脸动作、对抗样本类别、光照条件 |
数据规模 |
558870段,笔记本电脑采集219660段;手机/iPad采集339210段 |
人员分布 |
中国人,18岁以下、18-40岁、40岁以上 |
采集环境 |
室内外场景(自然景观、街景、广场等) |
采集多样性 |
多种场景、多种光照条件、不同拍摄距离、5种拍摄角度、50种动态手势 |
采集设备 |
手机、iPad、笔记本电脑 |
采集角度 |
正面、左/右斜视、俯视、仰视 |
采集距离 | 0.3米、0.6米、1米、2米、3米 |
车型 | 小轿车、SUV |
数据格式 |
.mp4、.mov、.wmv |
准确率 |
准确率>97% |
凭借高质量训练数据服务,数据堂已成功帮助全球上千家企业提升AI模型性能。
官方网站:www.datatang.com
咨询热线:18610005427
内容中包含的图片若涉及版权问题,请及时与我们联系删除
评论
沙发等你来抢