MMAC-Copilot: Multi-modal Agent Collaboration Operating System Copilot

自主虚拟代理通常受其与现实世界环境的单一交互模式所限制，限制了它们的多功能性。为了解决这个问题，我们提出了多模态代理协作框架（MMAC-Copilot），这个框架利用多样化代理的集体专业知识来增强与操作系统的交互能力。该框架引入了团队协作链，使每个参与的代理基于其特定领域知识贡献见解，有效减少了与知识领域差距相关的幻觉。为了评估MMAC-Copilot的性能，我们使用GAIA基准和我们新引入的视觉交互基准（VIBench）进行了实验。VIBench专注于各种领域的非API可交互应用程序，包括3D游戏、娱乐和办公场景。MMAC-Copilot在GAIA上取得了出色的表现，平均改进了6.8\%以上，超过了现有领先系统。此外，它在VIBench上表现出了卓越的能力，特别是在管理系统和应用程序内的各种交互方法方面。这些结果强调了MMAC-Copilot通过其创新的代理协作方法在推进自主虚拟代理领域方面的潜力。

MMAC-Copilot旨在解决自主虚拟代理人在与现实世界环境交互时的局限性，提高其多样性和灵活性。

MMAC-Copilot采用多模态代理人协作框架，通过团队协作链，利用不同代理人的专业领域知识，提高代理人的交互能力。

MMAC-Copilot在GAIA基准测试和新引入的VIBench测试中表现出色，相比现有领先系统平均提高6.8％。VIBench测试集包括各种领域的非API可交互应用程序，MMAC-Copilot在处理各种交互方式方面表现出色。

在这个领域中的相关研究包括：《Multi-Agent Reinforcement Learning for Sequential Decision Making in Traffic Control: A Review》、《Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms》等。