IDA: Breaking Barriers in No-code UI Automation Through Large Language Models and Human-Centric Design

企业数字平台中的业务用户花费大量时间处理重复性任务，这突显了自动化的重要性。尽管低代码工具在UI自动化方面有所进展，但其复杂性仍然是非技术业务用户采用的重要障碍。然而，大语言模型（LLM）的最新进展为克服这一障碍创造了新的机会，提供了更强大、更简单和更以人为中心的编程环境。本文介绍了IDA（智能数字学徒），这是一种新型的无代码Web UI自动化工具，专门为没有技术背景的业务用户设计。IDA采用以人为中心的设计原则，包括演示引导编程、语义编程模型和教师-学生学习隐喻，这些都是根据业务用户的技能集定制的。通过利用LLM，IDA克服了传统上限制无代码解决方案可能性的一些关键技术障碍。我们已经开发了IDA的原型，并进行了涉及真实世界业务用户和企业应用程序的用户研究。有希望的结果表明，用户可以有效地利用IDA创建自动化。定性反馈表明，IDA被认为是用户友好和值得信赖的。本研究有助于通过无代码用户界面自动化释放AI助手提高业务用户生产力的潜力。

解决企业数字平台中非技术业务用户面临的重复任务的自动化问题，提高生产力。

提出了一种基于大型语言模型的无代码Web UI自动化工具IDA，采用人性化设计原则，包括演示引导编程、语义编程模型和师生学习隐喻，旨在为非技术业务用户提供更强大、更简单、更人性化的编程环境。

通过大型语言模型克服了传统无代码解决方案所面临的一些关键技术障碍。研究开发了IDA原型，并在真实的企业应用和业务用户中进行了用户研究，结果表明用户能够有效地利用IDA创建自动化，IDA被认为是用户友好和可信赖的。

近期相关研究包括：1.基于机器学习的UI自动化方法；2.基于语义的UI自动化方法；3.基于演示的UI自动化方法。