Large Language Model-Brained GUI Agents: A Survey

图形用户界面（GUI）长期以来一直是人机交互的核心，提供了一种直观且视觉驱动的方式来访问和操作数字系统。大型语言模型（LLM），尤其是多模态模型的出现，开启了一个新的GUI自动化时代。这些模型在自然语言理解、代码生成和视觉处理方面表现出卓越的能力，为新一代基于LLM的GUI代理铺平了道路。这些代理能够解释复杂的GUI元素，并根据自然语言指令自主执行动作，代表了范式的转变，使用户可以通过简单的对话命令完成复杂、多步骤的任务。这些代理的应用涵盖了网络导航、移动应用程序交互和桌面自动化，提供了变革性的用户体验，彻底改变了个人与软件交互的方式。这一新兴领域正在迅速发展，在研究和行业中都取得了显著进展。 为了提供对这一趋势的结构化理解，本文对基于LLM的GUI代理进行了全面综述，探讨了其历史演变、核心组件和先进技术。我们讨论了诸如现有的GUI代理框架、用于训练专用GUI代理的数据收集和利用、针对GUI任务开发的大规模行动模型以及评估其有效性所需的评估指标和基准等研究问题。此外，我们还考察了由这些代理推动的新兴应用。通过详细分析，本综述确定了关键的研究空白，并勾勒出未来发展的路线图。通过整合基础性知识和最前沿的发展，本工作旨在指导研究人员和从业者克服挑战并充分发挥基于LLM的GUI代理的潜力。

论文试图解决如何利用大型语言模型（LLM）特别是多模态模型，来自动化图形用户界面（GUI）操作的问题。这是一个相对较新的问题，旨在通过自然语言指令实现复杂的GUI交互，从而简化用户与软件之间的互动。

关键思路在于开发能够理解复杂GUI元素并根据自然语言指令自主执行动作的LLM-brained GUI代理。相比现有研究，这篇论文提出了一个全面的框架，涵盖从历史演变、核心组件到高级技术的各个方面，并探讨了如何收集和利用数据训练专门的GUI代理，以及为GUI任务定制的大规模行动模型。

论文设计了详细的实验来评估这些代理的有效性，包括使用多种类型的GUI进行测试。文中提到的数据集涵盖了网页导航、移动应用程序和桌面环境中的交互场景。此外，作者还讨论了开源代码的可能性，鼓励社区参与进一步的研究和发展。值得继续深入研究的方向包括改进模型的泛化能力、增强用户体验以及探索更多实际应用场景。

最近的相关研究还包括：1.《Multimodal Learning for GUI Interaction》；2.《Natural Language Processing for Automated User Interfaces》；3.《Deep Learning Approaches to GUI Automation》。这些研究都在探索如何更好地将深度学习应用于GUI自动化领域。