UICrit: Enhancing Automated Design Evaluation with a UICritique Dataset

自动化UI评估对于设计过程可能是有益的，例如比较不同的UI设计或进行自动启发式评估。特别是基于LLM的UI评估有望适用于各种UI类型和评估任务。然而，目前基于LLM的技术还不能与人类评估者的表现相匹配。我们假设通过收集有针对性的UI反馈数据集，然后使用该数据集来提高通用LLM的表现，可以改进自动评估。我们提供了一个有针对性的数据集，其中包括了来自七位经验丰富的设计师的3,059个设计批评和对983个移动UI的质量评级。我们进行了深入分析以描述数据集的特征。然后，我们应用这个数据集通过各种少量样本和视觉提示技术，在LLM生成的UI反馈方面实现了55%的性能提升。我们还讨论了这个数据集的未来应用，包括训练生成UI技术的奖励模型，以及微调一个工具不可知的多模式LLM，以自动化UI评估。

本文旨在通过收集针对移动UI设计的反馈数据集，并使用该数据集来提高通用LLM的性能，从而改进自动化UI评估。作者假设这种自动化评估可以通过收集有针对性的UI反馈数据集，并使用该数据集来增强通用LLMs的性能。这是否是一个新问题？

本文的关键思路是使用针对性的UI反馈数据集来提高通用LLM的性能。作者使用了一个包含3059个设计批评和983个移动UI质量评分的数据集，并通过各种few-shot和视觉提示技术将其应用于LLM生成的UI反馈，从而实现了55%的性能提升。作者还讨论了该数据集的未来应用，包括训练用于生成UI技术的奖励模型，以及微调工具不可知的多模态LLM，从而自动化UI评估。

本文的亮点包括使用针对性的UI反馈数据集来提高通用LLM的性能，以及使用各种few-shot和视觉提示技术实现55%的性能提升。作者还讨论了该数据集的未来应用，包括训练用于生成UI技术的奖励模型，以及微调工具不可知的多模态LLM，从而自动化UI评估。

最近在这个领域中，还有一些相关的研究。例如，Gupta等人在“DeepCritique: A Deep Learning-Based System for Automatic UI Feedback Generation”一文中介绍了一种基于深度学习的自动UI反馈生成系统。另外，Zhang等人在“Automated UI Evaluation: A Multi-Method Approach”一文中介绍了一种多方法自动UI评估方法。