Counterfactual rewards promote collective transport using individually controlled swarm microrobots

群体机器人提供了完成超出单个机器人能力的复杂任务的迷人机会。就像一群蚂蚁共同移动一个大物体一样，通过基于局部感知的个体策略，一组机器人可以出现类似的功能。然而，实现个体控制的微型机器人的集体功能尤其具有挑战性，因为它们的尺寸非常小，自由度很多，与推进速度相比，热噪声很强，邻近微型机器人之间的物理耦合复杂，表面碰撞也很常见。在这里，我们采用多智能体强化学习（MARL）来生成最多200个微型机器人的控制策略，其运动由激光点逐个控制。在学习过程中，我们使用所谓的反事实奖励，自动为个体微型机器人分配信用，从而实现快速而无偏的训练。在这种高效的奖励方案的帮助下，群体微型机器人学会了类似于蚂蚁群体的集体运输一个大物体到任意位置和方向。我们证明了这种灵活而多才多艺的群体机器人系统对于群体大小的变化、存在故障单元和环境噪声具有鲁棒性。这样的控制策略有可能实现移动微型机器人的复杂自动组装、可编程的药物输送胶囊和其他先进的芯片实验室应用。

如何实现个体控制的微型机器人的集体行为，以完成复杂任务？

采用多智能体强化学习（MARL）生成控制策略，使用反事实奖励进行快速无偏训练，使微型机器人学会通过局部感知实现集体运动，类似于蚂蚁群体。

实现了高达200个微型机器人的集体运动控制，具有鲁棒性和灵活性。该方法可用于自动组装移动微机器、可编程药物输送胶囊等领域。

近期的相关研究包括《Swarm Robotics: A Review from the Swarm Engineering Perspective》、《Advances and challenges in swarm robotics》等。