UXAgent: A System for Simulating Usability Testing of Web Design with LLM Agents

可用性测试是用户体验（UX）研究人员用于评估和迭代网页设计的一种基本研究方法，但**如何评估和迭代可用性测试的研究设计本身**呢？最近大型语言模型模拟代理（**LLM Agent**）研究的进展启发了我们设计**UXAgent**，以帮助 UX 研究人员在进行真实的人类受试者研究之前，评估并改进他们的可用性测试研究设计。我们的系统包含一个人物角色生成模块（Persona Generator）、一个 LLM 代理模块（LLM Agent）以及一个通用浏览器连接器模块，能够自动生成数千名模拟用户，与目标网站进行交互式测试。此外，系统还提供了一个代理访谈界面（Agent Interview Interface）和一个视频回放界面（Video Replay Interface），以便 UX 研究人员可以轻松回顾和分析生成的定性和定量日志数据。通过启发式评估，五位参与的 UX 研究人员对我们的系统创新性表示赞赏，但也表达了对未来在 UX 研究中使用 LLM 代理的担忧。

论文试图解决如何在实际进行人类用户测试之前，评估和迭代可用性测试的研究设计这一问题。这是一个新颖的问题，专注于优化可用性测试本身的设计过程。

关键思路是通过设计一个名为UXAgent的系统，利用大型语言模型（LLM）模拟代理来生成数千个虚拟用户，以交互方式测试目标网站。该系统包含Persona Generator模块、LLM Agent模块和Universal Browser Connector模块，并提供Agent Interview Interface和Video Replay Interface，帮助研究人员分析数据。这种方法相较于传统方法更具自动化和可扩展性。

论文通过引入创新的UXAgent系统显著提高了研究效率；实验设计包括对五位UX研究人员的启发式评估，验证了系统的创新性和潜在价值。此外，系统开源了部分代码，并提供了详细的日志数据分析方法。未来值得深入研究的方向包括改进LLM Agent的行为真实性以及探索更多应用场景。

近期相关研究包括：1) 使用AI生成用户行为模拟的系统设计；2) LLM在用户体验研究中的应用；3) 虚拟用户测试技术的发展。例如，《Simulating User Behavior with Reinforcement Learning for Usability Testing》和《Evaluating UX Designs with AI-Powered Agents》等论文探讨了类似主题。