OmniRace: 6D Hand Pose Estimation for Intuitive Guidance of Racing Drone

本文介绍了OmniRace方法，使用6自由度（DoF）手势估计和识别控制赛车无人机。据我们所知，这是首个利用手势进行低级别控制高速无人机的技术。OmniRace采用基于计算机视觉和深度神经网络的手势界面来估计6自由度手势。先进的机器学习算法可以稳健地解释人类手势，使用户可以直观地控制无人机运动。实时控制赛车无人机展示了系统的有效性，验证了其革命性改变赛车无人机和其他应用的潜力。在Gazebo仿真环境中进行的实验结果表明，OmniRace使用户能够以显著更快的速度（25.1％）完成UAV赛道，并缩短测试无人机路径的长度（从102.9m到83.7m）。用户喜欢手势界面的吸引力（1.57 UEQ分数），愉悦质量（1.56 UEQ分数）和较低的感知时间需求（NASA-TLX中的32.0分数），同时注意到基线遥控器的高效性（0.75 UEQ分数）和低物理需求（NASA-TLX中的19.0分数）。深度神经网络在应用于标准化数据集和原始数据集时的平均准确度为99.75％。OmniRace有可能改变人类在动态和复杂环境中与赛车无人机的交互和导航方式。源代码可在https://github.com/SerValera/OmniRace.git上获得。

论文试图通过手势识别技术解决高速无人机的控制问题，提高其在竞速等应用中的表现，这是一个新的问题。

通过计算机视觉和深度神经网络估计手部姿态，实现手势控制高速无人机的运动，具有较高的准确率和实时性。

实验结果表明，OmniRace可以显著提高无人机比赛的效率，同时具有较高的吸引力、低感知时间需求和低身体需求，源代码已开源。

最近的相关研究包括使用机器学习控制无人机的方法、手势识别技术在虚拟现实和人机交互领域的应用等，如“Deep Drone Racing: Learning Agile Flight in Dynamic Environments”。