UIClip: A Data-driven Model for Assessing User Interface Design

用户界面（UI）设计是确保应用程序可用性、可访问性和美学品质的一项困难而重要的任务。在我们的论文中，我们开发了一个名为UIClip的机器学习模型，用于评估UI的设计质量和视觉相关性，给定其截图和自然语言描述。为了训练UIClip，我们使用了自动抓取、合成增强和人工评分的组合，构建了一个大规模的UI数据集，按照描述进行整理，并按设计质量进行排名。通过对数据集的训练，UIClip隐含地学习了好的和坏的设计属性，通过i）分配代表UI设计相关性和质量的数字分数和ii）提供设计建议。在将UIClip的输出与其他基线和12名人类设计师评分的UI进行比较的评估中，我们发现UIClip与基准排名的一致性最高。最后，我们提供了三个示例应用程序，演示了UIClip如何促进依赖于即时评估UI设计质量的下游应用程序：i）UI代码生成，ii）UI设计提示生成，和iii）质量感知的UI示例搜索。

本论文旨在开发一种机器学习模型，名为UIClip，用于评估UI设计的质量和视觉相关性，以便于在应用程序中进行即时的UI设计质量评估。

通过使用自动抓取、合成增强和人工评分的组合方法，构建了一个大规模的UI数据集，通过训练UIClip模型，可以隐式地学习好的和坏的UI设计属性，通过提供UI设计建议和分配一个代表UI设计相关性和质量的数值分数，来评估UI设计的质量和视觉相关性。

论文通过与其他基线模型和人工设计师评分进行比较，发现UIClip与人工评分的一致性最高。此外，论文还展示了三个示例应用程序，展示了UIClip如何促进依赖于即时UI设计质量评估的下游应用程序：UI代码生成、UI设计提示生成和质量感知的UI示例搜索。

最近在这个领域中，还有一些相关的研究，如UI设计自动化、UI评估和UI生成等。例如：《DeepLogo: Hitting Logo Recognition with the Deep Neural Network》、《Neural Network-Based Graphical User Interface Element Recognition》、《Neural Network-Based Automatic UI Design》等。