在 CV 领域,人体姿态估计(human pose estimation)利用目标检测模型和姿态估计模型来识别出人体各个关节的位置和网格,并已在动作识别、动画、游戏、运动捕捉系统中有着广泛的应用。

近日,机器之心在 GitHub 上发现了一个有趣的项目「air-drawing」,作者创建了一个利用深度学习的工具,使你在配有摄像头的电脑端可以获得自己的手势姿态估计成像图

项目地址:https://github.com/loicmagne/air-drawing

此外,作者使用的深度学习模型还可以预测「向上」或「向下」的手势动作。动态效果展示图如下:

试玩地址:https://loicmagne.github.io/air-drawing/

作者表示,试玩过程中不会收集用户信息。作者还优化了代码,使得该工具可以在大多数电脑上运行。

这个可以隔空作画的工具使用深度学习来完成,实现 pipeline 包含两个步骤:手势检测以及预测所要画的图,这两个过程都是通过深度学习来完成的。其中,手势检测使用了手部追踪解决方案 MediaPipe toolbox。

MediaPipe toolbox 项目地址:https://google.github.io/mediapipe/solutions/hands.html

内容中包含的图片若涉及版权问题,请及时与我们联系删除