MMAC-Copilot: Multi-modal Agent Collaboration Operating System Copilot

自主虚拟代理通常受到其与现实世界环境交互的单一模式的限制，限制了它们的多功能性。为了解决这个问题，我们提出了多模态代理协作框架（MMAC-Copilot），这个框架利用不同代理的集体专业知识来增强与操作系统的交互能力。该框架引入了一个团队协作链，使每个参与代理基于其特定领域知识做出贡献，有效减少了与知识领域差距相关的幻觉。为了评估MMAC-Copilot的性能，我们使用GAIA基准和我们新引入的视觉交互基准（VIBench）进行了实验。VIBench专注于各种领域的非API可交互应用，包括3D游戏、娱乐和办公场景。MMAC-Copilot在GAIA上取得了出色的表现，平均改进了6.8\%以上，超过了现有领先系统。此外，它在VIBench上展示了出色的能力，特别是在管理系统和应用程序中的各种交互方法方面。这些结果强调了MMAC-Copilot通过其创新的代理协作方法在推进自主虚拟代理领域方面的潜力。

本文旨在解决自主虚拟代理人在与现实世界环境交互时的限制性问题，并验证多模态代理人协作框架（MMAC-Copilot）的有效性。

MMAC-Copilot框架引入团队协作链，利用各个代理人的特定领域知识，有效减少知识领域差异带来的幻觉，从而增强其与操作系统的交互能力。

本文使用GAIA基准和Visual Interaction Benchmark（VIBench）进行实验评估，证明了MMAC-Copilot在GAIA上的表现优异，在VIBench上也表现出了卓越的能力。值得关注的是，MMAC-Copilot框架的创新思路是通过多模态代理人协作来解决代理人在现实世界环境中的交互限制性问题。

在此领域的相关研究包括：《Multi-Agent Reinforcement Learning for Networked Systems: A Brief Survey》、《Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms》等。