Back to Newton's Laws: Learning Vision-based Agile Flight via Differentiable Physics

在机器人学中，充满障碍物的群体导航是一个巨大的挑战。本研究将深度学习与一级物理学相结合，通过可微分仿真实现多个空中机器人在高速通过复杂环境中的自主导航。我们的方法通过使用简单的点质量物理模型和深度渲染引擎，在机器人仿真中反向传播损失梯度来直接优化神经网络控制策略。尽管如此简单，我们的方法在多智能体和单智能体应用的挑战性任务中表现出色，并且具有零样本模拟到现实的转移能力。在多智能体场景中，我们的系统展示了自组织行为，实现了无需通信或中央规划的自主协调，这是现有传统或基于学习的方法所没有的成就。在单智能体场景中，我们的系统在复杂环境中实现了90%的成功率，显著超过了先前最先进方法的60%的成功率。我们的系统可以在没有状态估计的情况下运行，并适应动态障碍物。在真实的森林环境中，它的导航速度高达20m/s，是先前基于模仿学习的解决方案速度的两倍。值得注意的是，所有这些能力都在成本友好的21美元计算机上部署，成本不到现有系统中配备GPU板的5%。视频演示可在https://youtu.be/LKg9hJqc2cc中查看。

论文旨在通过结合深度学习和物理学原理，使用可微分仿真来实现多个无人机在复杂环境中的自主导航。

使用可微分仿真将神经网络控制策略直接优化，并通过深度渲染引擎和简单的点质量物理模型来模拟机器人行为。

该方法在多智能体和单智能体应用中都表现出色，实现了自组织行为和90％的成功率。在真实环境中，该系统的速度可达20 m/s，成本低于5％的GPU-equipped板。

与传统或基于学习的方法相比，该方法在多智能体应用中实现了自组织行为，同时在单智能体应用中实现了更高的成功率。