Concept-Guided LLM Agents for Human-AI Safety Codesign

生成式人工智能在软件工程中变得越来越重要，包括安全工程，其使用确保软件不会对人造成伤害。这也导致了对生成式人工智能的高质量要求。因此，仅仅简单地使用大型语言模型(LLMs)无法满足这些质量要求。开发更先进和复杂的方法来有效地解决软件系统的复杂性和安全问题是至关重要的。最终，人类必须理解并对生成式人工智能提供的建议负责，以确保系统的安全。为此，我们提出了一种高效的混合策略，利用LLMs进行安全分析和人工智能代码设计。具体而言，我们开发了一个定制的LLM代理，使用提示工程、启发式推理和检索增强生成的元素来解决与预定义的安全概念相关的任务，并与系统模型图进行交互。推理受到微决策级联的指导，以帮助保留结构化信息。我们进一步提出了一个图形语言化的方法，作为系统模型的中间表示，以促进LLM-图形交互。为了说明我们的方法在简化的自动驾驶系统用例中的使用，选择了与安全分析相关的提示和响应对。

如何利用生成式人工智能确保软件工程的安全性？

开发一种混合策略，利用定制化的大型语言模型代理、启发式推理和检索增强生成来解决预定义安全概念相关的任务，并与系统模型图进行交互。

论文提出了一种有效的方法来确保生成式人工智能在软件工程中的安全性，使用了定制化的大型语言模型代理和系统模型图进行交互，还提出了图形化表达系统模型以促进模型和语言模型之间的交互。

在这个领域中，还有一些相关的研究，例如“Generative Models for Software Engineering: A Systematic Literature Review”和“Deep Learning for Software Engineering: A Systematic Literature Review”。