ExACT: An End-to-End Autonomous Excavator System Using Action Chunking With Transformers

挖掘机对于建筑和采矿等各种任务至关重要，而自主挖掘机系统提高了安全性和效率，解决了劳动力短缺问题，并改善了人类的工作条件。与现有的模块化方法不同，本文介绍了ExACT，这是一个端到端的自主挖掘机系统，它可以直接处理原始的LiDAR、相机数据和关节位置来控制挖掘机阀门。利用Action Chunking with Transformers (ACT)架构，ExACT采用模仿学习来将来自多模态传感器的观测作为输入，并生成可行的序列。在我们的实验中，我们基于捕获的真实世界数据构建了一个模拟器，以模拟挖掘机阀门状态和关节速度之间的关系。通过少量人工操作演示数据轨迹，ExACT展示了完成不同挖掘任务的能力，包括通过模仿学习在模拟器验证中完成到达、挖掘和倾倒等任务。据我们所知，ExACT代表了通过模仿学习方法构建端到端自主挖掘机系统的首个实例，且只需要最少量的人类演示。关于这项工作的视频可以在https://youtu.be/NmzR_Rf-aEk上访问。

论文旨在介绍一种全新的端到端自主挖掘机系统，利用模仿学习和多模态传感器数据来完成挖掘任务。

ExACT系统采用Action Chunking with Transformers（ACT）架构，利用模仿学习来处理来自多模态传感器的观测数据并生成可执行序列，以控制挖掘机阀门。

论文介绍了ExACT系统的实验，利用从真实世界数据中捕获的数据构建了一个模拟器，模拟了挖掘机阀门状态和关节速度之间的关系。ExACT通过模仿学习完成了不同的挖掘任务，包括到达、挖掘和倾倒。论文是首次采用模仿学习方法构建端到端自主挖掘机系统的尝试。

近期的相关研究包括利用深度强化学习来控制挖掘机的自主挖掘系统，例如《End-to-end Learning of Autonomous Excavator using Deep Reinforcement Learning》。