UI Semantic Group Detection: Grouping UI Elements with Similar Semantics in Mobile Graphical User Interface

UI页面上的文本、小部件和图像并不是单独工作的，而是被分成组以实现某些交互功能或视觉信息。现有的UI元素分组研究主要集中在特定的单个与UI相关的软件工程任务上，它们的组外观和功能各不相同。在这种情况下，我们提出了语义组件组，将相邻的文本和非文本元素打包成具有相似语义的组。与那些面向任务的分组方法相比，我们的语义组件组可以用于多个与UI相关的软件任务，例如检索UI感知组、改进自动UI到代码生成的代码结构以及为屏幕阅读器生成可访问性数据。为了识别UI页面上的语义组件组，我们提出了一种稳健的基于深度学习的视觉检测器UISCGD，它扩展了最先进的可变形DETR，并结合了UI元素颜色表示和对组分布的学习先验。该模型在我们的UI截图数据集上进行训练，该数据集包括来自200多个iOS和Android平台上的应用程序的1988个移动GUI。评估结果显示，我们的UISCGD比最佳基线算法提高了6.1％，比它所基于的可变形DETR提高了5.4％。

本论文旨在提出一种语义组件分组的方法，以识别UI页面上具有相似语义的元素组，并提出了一种基于深度学习的视觉检测器UISCGD，用于识别语义组件组。

论文提出了一种新的语义组件分组方法，可以应用于多个UI相关的软件任务，并提出了UISCGD视觉检测器，该检测器结合了UI元素的颜色表示和对组分布的学习先验知识。

论文使用了一个包含1988个移动GUI的UI截图数据集，涵盖了iOS和Android平台上的200多个应用程序。实验结果表明，UISCGD在语义组件组识别方面比最佳基线算法提高了6.1％，比其基于的deformable-DETR算法提高了5.4％。

在相关研究中，已经有一些关于UI元素分组的方法，但这些方法大多数是针对特定的UI工程任务，而本论文提出的语义组件分组方法可以用于多个UI相关的软件任务。