Visual Action Planning with Multiple Heterogeneous Agents

视觉规划方法有望处理提取系统状态具有挑战性的复杂环境。然而，现有的工作都没有处理多个异构智能体的情况，这些智能体具有不同的能力和/或实体特征。在本文中，我们提出了一种方法，通过利用在低维结构化潜在空间中构建的路线图来实现多智能体设置中的视觉动作规划。为了实现多智能体设置，我们从由个体动作关联元组组成的数据集中推断可能的并行动作。接下来，我们根据多智能体系统的能力评估它们的可行性和成本，并赋予路线图这些信息，构建一个能力潜在空间路线图（C-LSR）。此外，设计了一种能力建议策略，以在找不到路径时通知人类操作员可能缺少的能力。该方法在模拟的汉堡烹饪任务和实际的装箱任务中得到验证。

多智能体视觉规划方法中，如何处理具有不同能力和/或体现的多个异构代理的情况？

利用在低维结构化潜在空间中构建的路线图进行规划，通过从与单个动作相关的元组组成的数据集中推断可能的并行动作，评估它们的可行性和成本，基于多智能体系统的能力赋予路线图信息，建立能力潜在空间路线图（C-LSR）。设计能力建议策略，当找不到路径时通知人类操作员可能缺少的能力。

在模拟的汉堡煮法任务和真实的装箱任务中验证了该方法。该方法的亮点包括使用低维结构化潜在空间进行规划，处理多个异构代理的情况，设计能力建议策略。

最近的相关研究包括《Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms》、《Multi-Agent Systems: Algorithmic, Game-Theoretic, and Logical Foundations》等。