From Image to UML: First Results of Image Based UML Diagram Generation Using LLMs

在软件工程过程中，系统首先使用建模语言（例如UML）进行规范。这些初始设计通常是协作创建的，许多时候是在会议中，不同的领域专家使用白板、纸张或其他类型的快速支持来创建绘图和蓝图，然后需要将其形式化。这些适当的、机器可读的模型是确保模型可以成为自动化过程（例如低代码生成管道的输入、基于模型的测试系统等）的关键。但是，从手绘图中获得实际模型是一项耗时的过程，有时这些图只是作为非正式图像添加到软件文档中，大大降低了它们的价值。为了避免这种繁琐的任务，我们探索了使用大型语言模型（LLM）从给定的图纸中生成（UML）模型的正式表示的方法。更具体地说，我们评估了不同LLM将UML类图的图像转换为图像中表示的实际模型的能力。虽然结果足以将这种方法作为模型驱动工程流程的一部分使用，但我们也强调了它们目前的一些限制以及需要让人类参与以克服这些限制的必要性。

使用大型语言模型（LLM）自动生成UML类图的正式表示，以解决手绘图转换为机器可读模型的耗时问题。

使用大型语言模型（LLM）将UML类图的图像转换为实际模型，以便于集成到自动化流程中。

论文评估了不同LLM的能力，将UML类图像转换为实际模型，结果足以作为模型驱动工程流程的一部分使用。实验使用了公共数据集，并讨论了当前方法的局限性和需要人工干预的地方。

最近的相关研究包括使用深度学习技术对软件工程文档进行自动化分析的研究，如《使用深度学习技术进行自动化软件需求分析的研究》和《使用深度学习技术进行自动化代码注释的研究》。