Back to Newton's Laws: Learning Vision-based Agile Flight via Differentiable Physics

在机器人技术中，群体在杂乱环境中的导航是一个重大挑战。这项工作结合了深度学习和基于一阶物理学的可微分模拟，以实现多个空中机器人在复杂环境中高速自主导航。我们的方法通过简单的点质量物理模型和深度渲染引擎，在机器人模拟中反向传播损失梯度，直接优化神经网络控制策略。尽管方法简单，但在多智能体和单智能体应用的挑战性任务中，我们的方法通过零样本模拟到真实世界的转移表现出色。在多智能体场景中，我们的系统展现出自组织行为，实现无需通信或中央计划的自主协调，这是现有传统或基于学习的方法所没有达到的成就。在单智能体场景中，我们的系统在复杂环境中的导航成功率达到90％，明显超过之前最先进方法的60％。我们的系统可以在没有状态估计的情况下适应动态障碍物。在真实的森林环境中，它以每秒20米的速度导航，使其速度翻倍，超过之前基于模仿学习的解决方案。值得注意的是，所有这些功能都部署在价格实惠的21美元计算机上，其成本不到现有系统所使用的GPU配备板的5％。视频演示可在 https://youtu.be/LKg9hJqc2cc 查看。

解决问题：论文试图通过深度学习和物理学原理相结合的方法，实现多个空中机器人在复杂环境中的自主导航，包括单一机器人和多个机器人的协同行动。

关键思路：论文采用可微分仿真的方法，将神经网络控制策略与物理模型相结合，通过简单的点质量物理模型和深度渲染引擎，直接通过反向传播损失梯度来优化神经网络控制策略。在多机器人场景中，该方法具有自组织行为，无需通信或集中规划。在单机器人场景中，该方法的导航成功率达到90％，显著超过之前的最先进方法。

其他亮点：本文的方法可以在不需要状态估计的情况下适应动态障碍物，并且可以在预算友好的21美元计算机上运行，成本不到现有系统所使用GPU配备板的5％。实验结果显示，在真实丛林环境中，该系统的导航速度可达20 m/s，是之前的模仿学习方法的两倍。视频演示可在https://youtu.be/LKg9hJqc2cc上观看。

相关研究：最近的相关研究包括使用传统方法和基于学习的方法进行机器人导航的研究。其中，本文的方法在多机器人场景中具有自组织行为，是现有方法所没有的。