Generating Automatic Feedback on UI Mockups with Large Language Models

用户界面（UI）模型的反馈在设计中非常关键。然而，人类反馈并不总是容易得到的。我们探索了使用大型语言模型进行自动反馈的潜力。具体而言，我们专注于将GPT-4应用于自动化启发式评估，这目前需要人类专家评估UI是否符合一组设计准则。我们实现了一个Figma插件，它接收UI设计和一组书面启发式，自动生成反馈作为建设性建议。我们使用三个指南集评估了51个UI的性能，将GPT-4生成的设计建议与人类专家的建议进行了比较，并进行了一项研究，以了解其与现有实践的契合度。我们发现，基于GPT-4的反馈对捕捉细微的错误、改进文本和考虑UI语义非常有用，但是随着迭代次数的增加，反馈的效用也会降低。尽管其建议不完美，但参与者描述了该插件的几种用途。

使用大型语言模型自动化UI设计的启发式评估，以便在没有人类专家的情况下提供反馈。

使用GPT-4自动生成UI设计的反馈，以便在没有人类专家的情况下进行启发式评估。

使用Figma插件实现自动生成反馈，对51个UI进行了评估，与人类专家的反馈进行了比较，发现GPT-4的反馈能够捕捉到细微的错误，提高文本质量和考虑UI语义，但是反馈的效用随着迭代次数的增加而降低。研究人员发现该插件具有几个用途，尽管其建议不完美。

最近的相关研究包括使用神经网络进行UI设计和使用自然语言处理进行UI评估。