From Image to UML: First Results of Image Based UML Diagram Generation Using LLMs

在软件工程过程中，系统首先使用建模语言（如UML）进行规定。这些初始设计通常是协作创建的，很多时候是在会议上，不同的领域专家使用白板、纸张或其他类型的快速支持来创建图纸和蓝图，然后需要将其正式化。这些适当的、机器可读的模型是确保模型可以成为自动化过程（例如，低代码生成管道的输入、基于模型的测试系统等）的关键。但是，从手绘图中生成实际模型是一项耗时的任务，有时这些图纸只是作为非正式图像添加到软件文档中，大大降低了它们的价值。为了避免这种繁琐的任务，我们探索了使用大型语言模型（LLM）从给定的图纸生成（UML）模型的正式表示的方法。更具体地说，我们评估了不同LLM将UML类图的图像转换为图像所代表的实际模型的能力。虽然结果足以将这种方法作为模型驱动的工程流程的一部分使用，但我们也强调了它们目前的一些限制以及需要保持人与机器的协作以克服这些限制。

使用大型语言模型将手绘的UML类图转换为形式化的机器可读模型，以节省软件工程中繁琐的手动转换过程。

使用大型语言模型将手绘的UML类图转换为形式化的机器可读模型，以实现模型驱动工程。

通过评估不同的大型语言模型来转换UML类图，结果足够好以作为模型驱动工程流程的一部分。实验设计合理，使用了公开数据集，并且开源了代码。然而，仍然需要人类的协助来克服当前模型的局限性。

近期的相关研究包括基于图像的代码生成、基于深度学习的UML建模和自动生成、基于模型的测试等。例如，"Towards Deep Learning Models for UML Diagram Generation" 和 "Automated Test Case Generation from UML Models"。