Identifying User Goals from UI Trajectories

自主代理与图形用户界面(GUI)的交互具有增强用户体验的巨大潜力。为了进一步提高这些体验，代理需要个性化和主动性。通过有效地理解用户通过他们与GUI的交互和行为意图，代理将更好地实现这些目标。本文介绍了从观察到的UI轨迹中识别目标的任务，旨在基于用户的GUI交互推断用户的预期任务。我们提出了一种新颖的评估指标，以评估特定UI环境下两个任务描述是否是释义。通过利用与UI自动化任务的反向关系，我们利用了Android-In-The-Wild和Mind2Web数据集进行实验。使用我们的指标和这些数据集，我们进行了几项实验，比较了人类和现有技术模型（特别是GPT-4和Gemini-1.5 Pro）的性能。我们的结果显示，Gemini的表现优于GPT，但仍然不如人类，表明有很大的改进空间。

本论文尝试解决从观察到的UI轨迹中识别用户意图的问题，并提出了一个新的度量标准来评估任务描述在特定UI环境中是否是释义。

通过理解用户与GUI的交互来推断用户的预期任务，提出了从观察到的UI轨迹中识别用户意图的任务，并使用新的度量标准来评估任务描述的释义。

论文提出了一个新的任务来识别用户意图，并提出了一个新的度量标准来评估任务描述的释义。使用了Android-In-The-Wild和Mind2Web数据集进行实验，并比较了人类和现有模型的表现。结果表明，Gemini比GPT表现更好，但仍然不如人类，有很大的改进空间。

最近的相关研究包括“基于UI自动化的用户意图推断”和“基于用户行为的任务识别和建模”。