Vision Transformers for End-to-End Vision-Based Quadrotor Obstacle Avoidance

我们展示了一种基于注意力机制的端到端方法，用于在密集、杂乱的环境中进行高速四旋翼避障，并与各种最先进的架构进行比较。四旋翼无人机在高速飞行时具有巨大的机动能力；然而，随着飞行速度的增加，传统的基于视觉的导航通过独立的映射、规划和控制模块的方式会因传感器噪声、误差累积和处理延迟的增加而失效。因此，基于学习的端到端规划和控制网络已经被证明对于通过杂乱环境中的这些快速机器人的在线控制是有效的。我们在一个逼真的、高物理保真度的模拟器以及硬件上训练和比较了卷积、U-Net和循环架构与基于视觉变换器模型的深度端到端控制，并观察到随着四旋翼速度的增加，基于注意力的模型更加有效，而具有许多层的循环模型在较低速度下提供更平滑的命令。据我们所知，这是首次利用视觉变换器进行端到端基于视觉的四旋翼控制的工作。

本论文旨在解决高速四旋翼无人机在密集杂乱环境中避障的问题，并与各种最先进的架构进行比较。随着飞行速度的增加，传统的基于视觉的导航方法会因传感器噪声增加、误差累积和处理延迟增加而失效。因此，学习为基础的端到端规划和控制网络已被证明对于在线控制这些快速机器人通过杂乱的环境是有效的。

论文采用注意力机制的端到端方法解决高速四旋翼无人机在密集杂乱环境中避障的问题。与传统的独立的映射、规划和控制模块相比，该方法通过深度学习实现端到端的规划和控制，能够更好地应对四旋翼无人机高速飞行时的传感器噪声、误差累积和处理延迟等问题。

论文使用卷积、U-Net、循环神经网络和视觉变换器模型进行深度学习训练，并在高物理保真度的模拟器和硬件上进行比较实验。研究发现，随着四旋翼无人机速度的增加，基于注意力机制的模型比其他模型更有效，而循环模型在低速时提供更平滑的控制命令。该论文是首次利用视觉变换器模型进行端到端视觉控制的研究。

近期的相关研究包括:《End-to-End Learning of Deep Visual Control Policies from Unstructured Video》、《Learning to Fly by Crashing》等。