Large Language Model-Brained GUI Agents: A Survey

图形用户界面（GUI）长期以来一直是人机交互的核心，提供了一种直观且以视觉驱动的方式来访问和操作数字系统。大型语言模型（LLM），特别是多模态模型的出现，开启了一个新的GUI自动化时代。这些模型在自然语言理解、代码生成和视觉处理方面表现出卓越的能力，为新一代基于LLM的GUI代理铺平了道路。这些代理能够解释复杂的GUI元素，并根据自然语言指令自主执行操作，代表了一种范式转变，使用户可以通过简单的对话命令完成复杂的多步骤任务。这些代理的应用范围广泛，包括网页导航、移动应用交互和桌面自动化，提供了革命性的用户体验，彻底改变了个人与软件的互动方式。这一新兴领域正在迅速发展，研究和行业都取得了显著进展。 为了对这一趋势进行结构化的理解，本文对基于LLM的GUI代理进行了全面的综述，探讨了其历史演变、核心组件和先进技术。我们讨论了诸如现有的GUI代理框架、用于训练专门化GUI代理的数据收集和利用、为GUI任务定制的大规模动作模型的开发以及评估其有效性的必要指标和基准等研究问题。此外，我们还考察了由这些代理驱动的新兴应用。通过详细的分析，本综述识别了关键的研究空白，并为未来的发展制定了路线图。通过整合基础知识和最先进技术，本研究旨在指导研究人员和实践者克服挑战，充分发挥基于LLM的GUI代理的全部潜力。

论文试图解决的问题是开发和优化基于大型语言模型（LLM）的图形用户界面（GUI）代理，以实现自然语言指令下的复杂任务自动化。这是一个相对较新的问题，随着LLM技术的发展而逐渐受到关注。

关键思路在于利用LLM的强大自然语言理解和视觉处理能力，结合GUI元素的识别和操作，创建能够自主执行多步骤任务的智能代理。相比现有研究，该论文不仅探讨了技术实现，还系统地分析了数据收集、模型训练、评估指标等核心组件，为这一新兴领域提供了全面的框架。

论文的亮点包括：1) 提出了一个全面的框架，涵盖从数据收集到模型评估的各个环节；2) 强调了多模态LLM在GUI自动化中的应用潜力；3) 设计了多种实验来验证不同框架的有效性，并使用了多个实际数据集；4) 开源了一些实验代码和数据集，便于其他研究人员复现和进一步研究；5) 指出了未来研究的方向，如改进模型泛化能力和用户体验。

近期相关研究包括：1) 'Multimodal Pretraining for GUI Interaction'，探讨了多模态预训练在GUI交互中的应用；2) 'Natural Language to Code: A Survey'，综述了自然语言到代码生成的技术进展；3) 'Visual Question Answering for GUI Elements'，研究了基于视觉的GUI元素问答系统；4) 'Automated GUI Testing with Reinforcement Learning'，介绍了强化学习在GUI测试中的应用。