InfiGUIAgent: A Multimodal Generalist GUI Agent with Native Reasoning and Reflection

图形用户界面（GUI）代理，由多模态大语言模型（MLLMs）驱动，在计算机和手机等计算设备的任务自动化方面展现了巨大的潜力。然而，现有的代理在多步骤推理和依赖文本注释方面面临挑战，限制了其有效性。我们引入了\textit{InfiGUIAgent}，这是一种基于MLLM的GUI代理，通过两阶段监督微调管道进行训练。第一阶段增强了诸如GUI理解和定位等基本技能，而第二阶段则通过合成数据整合层次推理和预期反射推理技能，以实现代理的本地推理能力。\textit{InfiGUIAgent}在多个GUI基准测试中取得了具有竞争力的表现，突显了本地推理技能在增强GUI交互以用于自动化任务中的重要性。资源可在\url{https://github.com/Reallm-Labs/InfiGUIAgent}获取。

该论文试图解决现有图形用户界面（GUI）代理在多步骤推理和对文本注释依赖方面所面临的挑战，这限制了它们在任务自动化中的有效性。这是一个需要进一步改进的问题，但通过引入新的训练方法来增强GUI代理的能力是一个创新的尝试。

关键思路在于引入了一个名为InfiGUIAgent的新模型，它基于多模态大语言模型（MLLMs），并采用两阶段监督微调管道进行训练。第一阶段侧重于提升基础技能，如GUI理解和定位；第二阶段则通过合成数据集成层次推理和期望反思推理技能，以实现代理的原生推理能力。这种方法相比现有研究，更注重通过结构化训练提升代理的自主推理能力。

论文设计了详尽的实验来验证InfiGUIAgent在多个GUI基准测试上的表现，并证明了其在任务自动化中的竞争力。此外，作者开源了项目资源，使得其他研究人员可以复现结果并在此基础上继续研究。未来值得深入探讨的方向包括如何将这些技术应用于更复杂的实际场景中，以及探索更多提高代理推理能力的方法。

近期相关研究还包括使用深度学习改进人机交互、开发智能助手以简化日常任务等。例如，《Learning to Act by Predicting the Future》和《Deep Reinforcement Learning for Dialogue Generation》等论文也探讨了类似主题，但重点各有不同。