UICoder: Finetuning Large Language Models to Generate User Interface Code through Automated Feedback

本文探讨了使用自动反馈（编译器和多模态模型）来指导大型语言模型（LLMs）生成高质量UI代码的方法。现有的改进方法依赖于昂贵的人工反馈或提炼专有模型。我们的方法从现有的LLM开始，通过自动生成大规模的合成数据集，使用自动化工具对数据进行过滤、评分和去重，生成一个经过精细处理的高质量数据集，再对原始LLM进行微调，从而迭代地生成改进的模型。我们将该方法应用于几个开源LLM，并将结果与基线模型进行了自动度量和人类偏好的比较。我们的评估表明，生成的模型优于所有其他可下载的基线模型，并接近更大的专有模型的性能。

本论文旨在探索利用自动化反馈（编译器和多模态模型）指导大型语言模型生成高质量UI代码，以解决现有方法中需要昂贵人工反馈或提取专有模型的问题。

通过使用原始模型自动生成大量合成数据集，应用自动化工具将数据过滤、评分和去重，得到一个高质量的数据集，从而改进原始LLM模型。并将该方法应用于几个开源LLMs，与基线模型和人类偏好进行比较。

本论文的亮点在于使用自动化反馈指导LLMs生成高质量UI代码，并通过自动生成大量合成数据集的方法，提高了LLMs的性能。实验设计合理，使用了多个数据集，开源了代码，值得进一步研究。

最近的相关研究包括使用生成对抗网络生成UI代码，以及使用深度学习模型进行UI设计。相关论文包括：Generating UI Code via Adversarial Learning and Deep Learning for UI Layouts.