Bootstrapping Reinforcement Learning with Imitation for Vision-Based Agile Flight

我们将强化学习（RL）的有效性和模仿学习（IL）的效率结合在基于视觉的自主无人机赛车中。我们专注于直接处理视觉输入，而不需要明确的状态估计。虽然RL提供了通过试错学习复杂控制器的通用框架，但由于视觉输入的高维度，它面临着样本效率和计算需求方面的挑战。相反，IL在从视觉演示中学习方面表现出效率，但受到演示质量的限制，并面临协变量转移等问题。为了克服这些限制，我们提出了一种结合RL和IL优点的新型训练框架。我们的框架包括三个阶段：使用特权状态信息进行教师策略的初始训练，使用IL将该策略提炼为学生策略，以及性能受限的自适应RL微调。我们在模拟和实际环境中的实验表明，我们的方法在仅使用视觉信息而不进行明确的状态估计的情况下，比IL或RL单独导航四轴飞行器通过赛道具有更优秀的性能和鲁棒性。

论文旨在将强化学习（RL）和模仿学习（IL）相结合，解决基于视觉的自主无人机飞行的问题。

通过三个阶段的训练框架，将RL和IL的优势相结合，实现高效的无人机控制。

论文在模拟和实际环境中进行了实验，证明了该方法相较于单独使用IL或RL，在无人机视觉导航方面具有更好的性能和稳健性。

近期相关研究包括：《End-to-End Learning of Deep Visuomotor Policies》、《Learning to Fly by Crashing》等。